Проблема с ЧПУ

[Shraibikus 1]

Приветствую. Сегодня после обновления вебмастера яндекса обнаружил несколько сотен дублей в индексе по причине кривого ЧПУ в стоковом DLE, пример http://dle-news.ru/?do=cat&category=info/

она же http://dle-news.ru/info/

тоже самое с если добавить второй слеш, например http://dle-news.ru/info//

 

Как они могли попасть в индекс загадка потому как после настройки и неоднократного обновления сайта всегда проверял на дубли и баги в тегах краулером.

 

теперь стоит задача как от них избавится потому как директива в .htaccess - RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L] прописана но очевидно что-то не так обрабатывается

 

Советы про robots.txt, rel="canonical" и прочие сектантские бредни прошу оставить при себе, интересует именно решение средствами сервера либо пхп

 

 

[germanydletest 438]

Включите в настройках скрипта обработку неверных ЧПУ.

[odys 384]

37 минут назад, germanydletest сказал:

Включите в настройках скрипта обработку неверных ЧПУ.

не помогает, проверил. Нужно другое решение

[germanydletest 438]

9 минут назад, odys сказал:

не помогает, проверил. Нужно другое решение

Ну тогда это уже в раздел "багов", пусть разработчики ищут решение.

[celsoft 5 984]

3 часа назад, Shraibikus сказал:

Как они могли попасть в индекс загадка потому как после настройки и неоднократного обновления сайта всегда проверял на дубли и баги в тегах краулером.

Они не попали в индекс, они были найдены поисковым роботом. Попадание в индекс выдачи, и нахождение страниц роботом, это разные вещи. В индексе находятся страницы, которые выдает поисковик в результатах поиска. Нашел их поисковик где угодно, возможно вы в шаблоне поставили случайно лишний слеш, либо на каком то стороннем сайте.

 

Наличие лишнего слеша DLE не проверяет и никогда не проверял, он проверяет только отсутствие слеша. Поэтому каких либо готовых решений по избавлению от этих страниц нет. 

[Shraibikus 1]

15 часов назад, celsoft сказал:

Они не попали в индекс, они были найдены поисковым роботом. Попадание в индекс выдачи, и нахождение страниц роботом, это разные вещи. В индексе находятся страницы, которые выдает поисковик в результатах поиска. Нашел их поисковик где угодно, возможно вы в шаблоне поставили случайно лишний слеш, либо на каком то стороннем сайте.

 

Наличие лишнего слеша DLE не проверяет и никогда не проверял, он проверяет только отсутствие слеша. Поэтому каких либо готовых решений по избавлению от этих страниц нет. 

Это они у вас не попали в индекс яндекса, а у меня откуда то повылезали, сайт не трогал около полугода. Хотя ... поздравляю, все 3 ссылки в первом посте с вашего сайта уже в индексе гугла.

 

 

 

 

15 часов назад, germanydletest сказал:

Ну тогда это уже в раздел "багов", пусть разработчики ищут решение.

Об этой проблеме я писал еще пару лет назад, но разрабы отклонили просьбу, посчитав эту фичу/баг "норамальным", поэтому и разместил сюда

Изменено 12 января 2017 пользователем Shraibikus

[celsoft 5 984]

4 часа назад, Shraibikus сказал:

Это они у вас не попали в индекс яндекса, а у меня откуда то повылезали, сайт не трогал около полугода. Хотя ... поздравляю, все 3 ссылки в первом посте с вашего сайта уже в индексе гугла.

А теперь попробуйте туда попасть по поисковому запросу, а не введя URL.

Например набрав в поиске от гугла, реальный текст со страницы, например

Цитата

Принцип получения подарочной лицензии очень прост, и все происходит полностью в автоматическом режиме.

И посмотрите какую страницу в выдаче вы увидите. info, это не результаты выдачи, а то что найдено гуглом. Для проверки известна ли страница гуглу.

[Shraibikus 1]

а причем тут ранжирование по поисковым запросам? если страница в индексе то структура перелинковки уже не будет работать так как задумано.

 

а второе проверить не сложно владея знаниями об операторах поиска, хотя и первого факта уже достаточно чтобы нивелировать развитие проекта в поиске

 

Изменено 12 января 2017 пользователем Shraibikus