Дубли

[mobirobi 6]

Сайт mobirobi.info вот немного из тысяч примеров:

http://mobirobi.info/books/46523-maxim-12-dekabr2009hq.html

http://mobirobi.info/index.php?newsid=46523

http://mobirobi.info/films/85218-xloya-chloe-2009camrip.html

http://mobirobi.info/index.php?newsid=85218

http://mobirobi.info/index.php?newsid=49615

http://mobirobi.info/music/49615-trance-maniacs-party-melody-of-heartbeat-9-2009.html

т.е. поисковая машина google выводит в дубли одни и те же новости, но отображаемые по разному (с модулем mod_rewrite и без него), есть подозрение, что это основная причина падения трафика на многих DLE сайтах, как с этим бороться?

[Captain 636]

Поставили ЧПУ - вот и результат, со временем склеются. Для сайта нужно сразу определятся еще во время создания с ЧПУ или без. Борются с этим с помощью 301-го редиректа.

[mobirobi 6]

ЧПУ уже стоит и ни как это не уберешь, а что Вы понимаете под - Борются с этим с помощью 301-го редиректа???

[Captain 636]

Это перенаправление одного адреса на другой:

301 редирект

Можно еще в robots.txt прописать (но это уже запрет на индексацию):

User-Agent: *

Disallow: /index.php?*

[mobirobi 6]

Можно еще в robots.txt прописать (но это уже запрет на индексацию):

User-Agent: *

Disallow: /index.php?*

Наверное этот вариант предподчтительнее - просто указать поисковой машине не обращать внимание на ссылки без ЧПУ. СПС

Вот здесь http://robotstxt.org.ru/chavo вычитал, что

User-Agent: *

Disallow: /index.php?*

скорее всего неправильный синтаксис, рекомендуют так

User-Agent: *

Disallow: /index.php?