Дублирование контента, важно для всех (Яндекс)

[Гость filmxago]

Здравствуйте уважаемые форумчаны. У меня возникла проблема с дублированием контента. Поисковая система Яндекс умудряется индексировать страницы комментариев, в итоге мы получаем в Яндексе пару страниц в индексе.

Пример:

http://site.ru/serialy/page,1,25,6533-my-newstt.html

http://site.ru/serialy/page,1,35,6533-my-newstt.html

http://site.ru/serialy/page,1,32,6533-my-newstt.html

Также страницы

http://site.ru/page/677/

http://site.ru/novosti/page/2/

и так делает много страниц, в итоге они через пару часов после захода выпадают и добавляются другие подобные страницы. Это проблема видна только на больших порталах, на котором пользователи добавляют много комментариев. Поэтому позицию сохранить очень сложно, если таких страниц очень много, вы рискуете попасть под АГС-30.

Если кто-то решил данную проблему отпишите свои варианты и пример решения:

Закрыть комментарии от гостей не подходит!

Я вижу вариант сделать, чтоб индексировалась только первая страница комментариев.. а остальные чтоб не индексировались! Вопрос как это сделать? Или же вашие варианты!

Изменено 18 декабря 2010 пользователем filmxago

[zgr 72]

Ссылку на ваш сайт покажите - не забываем читать правила форума (в шапке)

[wandit 0]

Ссылку, ссылку, а потом скажу как все элементарно Ватцен!

[Гость filmxago]

Ccылка на ресурс: filmix.net

Изменено 18 декабря 2010 пользователем filmxago

[zgr 72]

Здесь несколько раз подымалась тема про robots.txt, информации в сети более чем достаточно, если на форуме что-то будет не понятно, отписывайтесь в любую из веток по этому файлу, что знаю - подскажу.

[fasol21 0]

Здесь несколько раз подымалась тема про robots.txt, информации в сети более чем достаточно, если на форуме что-то будет не понятно, отписывайтесь в любую из веток по этому файлу, что знаю - подскажу.

Вот последняя актуальная тема про роботс.тхт: http://forum.dle-news.ru/index.php?showtopic=44833

Надеюсь и на мой вопрос ответите там.

[zgr 72]

Эх, совсем ленивые...

Запретите индекс мусора, в вашем случае это страницы с путями /page/

После:

User-agent: *

Добавить:

Disallow: /page/*

Disallow: /*/page/*

Disallow: /*/*/page/*

Везде, где будет эта последовательность, индексироваться не будут эти страницы.

П.С. вот еще для примера: http://isle-poem.ru/robots.txt

(не уверен, что всё идеально правильно сделал, но пока ничего за несколько месяцев страшного не случилось )

Изменено 19 декабря 2010 пользователем zgr