lepota 3 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 (изменено) Здраствуйте, яндекс проиндексировал сайт и появились дубли страниц http://prazndnyte.ru/scen http://prazndnyte.ru/scen/ со слешем и без слеша, как я понимаю со слешем в конце это дубли. Как в роботе закрыть эти дубли ? у меня в роботе User-agent: Yandex # Added by add_robots.sh Crawl-delay: 10 Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /favorites/ Disallow: /newposts/ Disallow: /lastnews/ Disallow: /catalog/ Disallow: /language/ Disallow: /tags/ Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=pm Disallow: /*do=search Disallow: /*group=* Disallow: /addnews.html Disallow: /search.html Disallow: /rules.html Disallow: /index.php?subaction=newposts Disallow: /*.php* Disallow: /*/page/ Disallow: /tags/*/page/ Disallow: /2013/ Disallow: /2014/ Disallow: /2015/ Disallow: /*rss.xml Sitemap: http://prazndnyte.ru/sitemap.xml Host: prazndnyte.ru Изменено 13 февраля 2013 пользователем lepota Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 613 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 У вас ссылки на сайте проставлены и со слешем и без. Верхнее горизонтальное без слеша, слева в вертикальном со слешем. Исправляйте свой шаблон, в DLE правильно проставлять слеш на категории. Цитата Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 Автор в шаблоне категории - вот так прописаны <li><a href="/opr">О праздниках</a><del> | </del></li> и в категориях Альтернативное имя: :opr откуда этот слеш взялся? Как исправить?Все, я понял откуда слеш нарисовался, это с левого блока там слеш на конце А вообще как лучше со слешем в конце или нет? Как я слышал со слешем в конце дает роботу понять что есть продолжение. Что скажете? Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 613 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 Я же написал, со слешем. Вот это явно не к месту: Disallow: /backup/ Disallow: /language/ Disallow: /*group=* Disallow: /index.php?subaction=newposts Disallow: /*.php* Disallow: /*/page/ Disallow: /tags/*/page/ Disallow: /*rss.xml Page закрывается просто: Disallow: /page/ По ссылкам *.xml роботы не ходят. Цитата Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 Автор а почему лишнее? Disallow: /*.php* но ведь в результате чего одна и та же страница получается доступной по "ЧПУ-адресу" и по "движковому" адресу (т.к. длинная строка в урле с "коряболками" как раз и используется самим движком в его работе). Т.е. получаем дублирование страниц на сайте, что так любит АГСЯ добавил слеши, а что будет теперь со страницами без слеша, они же сейчас существуют, как теперь от них избавится? они же дубли. Цитата Ссылка на сообщение Поделиться на других сайтах
WWW.ZEOS.IN 1 161 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 но ведь в результате чего одна и та же страница получается доступной по "ЧПУ-адресу" и по "движковому" адресу (т.к. длинная строка в урле с "коряболками" как раз и используется самим движком в его работе). Поисковая система видит только те ссылки, которые есть на страничке, а не все, которые поддерживает каждая CMS 1 Цитата Ссылка на сообщение Поделиться на других сайтах
makhatsha 2 Опубликовано: 13 февраля 2013 Рассказать Опубликовано: 13 февраля 2013 lepota! Вот прочтите тут. Надеюсь поможет!!! Цитата Ссылка на сообщение Поделиться на других сайтах
nalex 0 Опубликовано: 17 октября 2014 Рассказать Опубликовано: 17 октября 2014 Поисковая система видит только те ссылки, которые есть на страничке, а не все, которые поддерживает каждая CMS Если Ваш ответ еще не устарел... Означает ли это, что слишком усердствовать в устранении дублей станиц не надо? Как следует из ссылки в сообщении чуть выше? Я, например, на свежем своем сайте в Инструменты для веб-мастеров Гугл увидел ошибку с ссылкой на страницу с датой новости... Хотя ЧПУ у меня - сайт//категория/заголовок-новости.html Т.е., если вкратце - стандартных ограничений в robots.txt и .htaccess для роботов вполне хватает? Цитата Ссылка на сообщение Поделиться на других сайтах
VintProg 0 Опубликовано: 17 октября 2014 Рассказать Опубликовано: 17 октября 2014 Роботс TXT надо открыть весь. Я слышал что это не чего хорошего не дает, поисковик все равно заберет страницы. Вам надо использовать тег no-index, Я именно на верд прессе таким образом избавился от всех дублей. Цитата Ссылка на сообщение Поделиться на других сайтах
nalex 0 Опубликовано: 18 октября 2014 Рассказать Опубликовано: 18 октября 2014 Роботс TXT надо открыть весь. Я слышал что это не чего хорошего не дает, поисковик все равно заберет страницы. Вам надо использовать тег no-index, Я именно на верд прессе таким образом избавился от всех дублей. Как тегом noindex можно избавиться от дублей страниц? Этим тегом вы закрыли участки текста, который не желаете отдавать в индексацию? Но noindex годен только для Яндекса? Для Гугла что есть? Нашел такую конструкцию для: Google <!--googleoff: index--> text <!--googleon: index--> Yandex <!--noindex--> text <!--/noindex--> Вместе Google & Yandex <!--googleoff: index--> <!--noindex--> text <!--/noindex--> <!--googleon: index--> Но это закрыть участки текста всего-лишь. Как в ДЛЕ избавиться от дублей страниц? Это задача. Такой вот казус - пробовал избавиться от дублей по методу Алаева. Сайт был под АГС в Яндексе, в индексе были 2 страницы всего. При обновлении скрипта ДЛЕ (долго не обновлял) конструкцию Алаева избавления от дублей не применил, оставил как есть. Через месяц сайт полностью проиндексировался и вышел из-под АГС. Сейчас все в порядке. Совпадение или нет? Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 18 октября 2014 Рассказать Опубликовано: 18 октября 2014 Как в ДЛЕ избавиться от дублей страниц? В DLE нет дублей страниц. Приведите конкретные примеры именно с дублями страниц. Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 613 Опубликовано: 18 октября 2014 Рассказать Опубликовано: 18 октября 2014 <!--googleoff: index-->text<!--googleon: index--> Этот тег не используется в общем поиске Google, он предназначен для Google Search Appliance, грубо говоря корпоративный поиск в локальной сети. Так что текст вы им не спрячете от индексации. Цитата Ссылка на сообщение Поделиться на других сайтах
nalex 0 Опубликовано: 19 октября 2014 Рассказать Опубликовано: 19 октября 2014 (изменено) Как в ДЛЕ избавиться от дублей страниц? В DLE нет дублей страниц. Приведите конкретные примеры именно с дублями страниц. Я пришел на форум прояснить для себя то, что недопонимаю. У меня был случай, описанный мною выше, когда мой сайт попал под АГС и после снятия рекомендаций по удалению дублей через месяц снова восстановился в индексе. Случайность это или нет - не знаю. А на счет дублей, то они есть примерно по вот такой схеме: Главная страница (http://site.ru/) Доступна также по адресам http://site.ru/index.php http://site.ru/page/1/ Страница категории (http://site.ru/category/) Доступна также по адресам http://site.ru/category http://site.ru/category/page/1/ Страница субкатегории, если есть вложенность (http://site.ru/cat/subcat/) Доступна также по адресам http://site.ru/cat/subcat http://site.ru/cat/subcat/page/1/ http://site.ru/subcat/ http://site.ru/subcat http://site.ru/subcat/page/1/ Страница материнской категории, если есть вложенность (http://site.ru/cat/) Доступна также по адресам http://site.ru/cat http://site.ru/cat/page/1/ http://site.ru/subcat/cat/ http://site.ru/subcat/cat http://site.ru/subcat/cat/page/1/ Страница полной новости, которая пусть принадлежит категории truecat (http://site.ru/truec...-news-name.html) Доступна также по адресам http://site.ru/truec...a-bla-name.html -> http://site.ru/123-news-name.html http://site.ru/fakec...-news-name.html http://site.ru/truec...-news-name.html <!--googleoff: index-->text<!--googleon: index--> Этот тег не используется в общем поиске Google, он предназначен для Google Search Appliance, грубо говоря корпоративный поиск в локальной сети. Так что текст вы им не спрячете от индексации. Перерыл Интернет, но так и не нашел вразумительный ответ как закрыть текст от Гугла. Только Ява-скрипты, что не хотелось бы применять Изменено 19 октября 2014 пользователем nalex Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 613 Опубликовано: 19 октября 2014 Рассказать Опубликовано: 19 октября 2014 nalex, какой версией DLE пользуетесь? В актуальных версиях приведённых выше дублей нет, пофиксили уже давно. 1. Для страницы example.org/index.php DLE устанавливает атрибут: <link rel="canonical" href="http://example.org/" />[/CODE] 2. Таких ссылок как example.org/page/1/ и example.org/category/page/1/ в навигации нет, откроются только если вбивать вручную, причём на странице site.ru/page/1/ будет атрибут rel="canonical". На крайняк можно прописать в robots.txt Disallow: /page/1/. 3. Для страниц как example.org/category без слеша применяется редирект на страницу со слешем example.org/category/. 4. Включите в настройках "Обрабатывать неверные URL ЧПУ", тогда для страниц полной новости с адресами типа example.org/id-любой текст.html, example.org/бла-бла,id-любой текст.html и т.п. будет применяться 301-й редирект на верный адрес site.ru/id-имя новости.html. Цитата Ссылка на сообщение Поделиться на других сайтах
nalex 0 Опубликовано: 19 октября 2014 Рассказать Опубликовано: 19 октября 2014 nalex, какой версией DLE пользуетесь? В актуальных версиях приведённых выше дублей нет, пофиксили уже давно. Теперь все понятно. Благодарю за помощь и разъяснение. Обновился, теперь последняя стоит, все время только читал что новенькое появляется. ДЛЕ прогрессирует и постоянно улучшается, что радует каждый раз, каждая новая версия!!! Еще раз порадовался, что новый сайт создал на ДЛЕ, а хотел на Вордпресс. ДЛЕ шустрый, отличный движок! А Ваш ответ, думаю, пригодится многим! Еще раз спасибо! Цитата Ссылка на сообщение Поделиться на других сайтах
Dmitriy46 0 Опубликовано: 22 декабря 2014 Рассказать Опубликовано: 22 декабря 2014 В 10.3 версии нет дублей ? Неужели исправили, это просто отличная новость!!! Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.