Надо грамотно составить Robots.txt

[igaiga3 0]

Так будет правильно?

User-agent: *

Disallow: /_private/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user*

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Sitemap: http://forudle.ru/sitemap.xml

Disallow:

User-agent: Yandex

Disallow: /_private/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user*

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Sitemap: http://forudle.ru/sitemap.xml

Host: forudle.ru

Disallow:

Изменено 1 января 2011 пользователем igaiga3

[Captain 623]

Правильнее так:

User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /catalog/ - если нужно, закрываем каталог

Disallow: /tags/ - если нужно, закрываем теги

Disallow: /2010/ - если нужно, закрываем архивы (нужные года сами подставьте)

Disallow: /statistics.html

Disallow: /*rss - закрываем, если не хотите видеть ошибку в ВМ "Формат не поддерживается"

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm


Allow: /

Sitemap: http://www.сайт.ru/sitemap.xml

Host: www.сайт.ru

* и Yandex не дублируют.