как правильно настроить robots.txt

[abasive 41]

у меня есть несколько зеркала как правильно настроить robots.txt для всех поисковиков?

[WWW.ZEOS.IN 1 161]

Ссылка

[veb74 10]

Поищи поиском по сайту, здесь тыщупицот раз обсуждали, как правильно, как неправильно.

[abasive 41]

у меня так не знаю правильно или нет помогите настроить

User-agent: *

Disallow: /backup/

Disallow: /files/

Disallow: /user/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /images/

Disallow: /links/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Host: www.site.ru

User-agent: Googlebot

Disallow: /backup/

Disallow: /files/

Disallow: /user/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /images/

Disallow: /links/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Host: www.site.ru

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex

Disallow: /backup/

Disallow: /files/

Disallow: /user/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /images/

Disallow: /links/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Host: www.site.ru

Sitemap: http://site.ru/sitemap.xml

[veb74 10]

Конечно неправильно. Ты бы для всех поисковок правила отдельные написал ещё.

И через разрыв строки не пишется.

* и хватит.

Да и вроде как по утверждению, не нужно ничего скрывать, оно уже скрыто. ))

User-agent: *

Sitemap: http://сайт.ru/sitemap.xml

у меня так.

[abasive 41]

Конечно неправильно. Ты бы для всех поисковок правила отдельные написал ещё.

И через разрыв строки не пишется.

* и хватит.

Да и вроде как по утверждению, не нужно ничего скрывать, оно уже скрыто. ))

User-agent: *

Sitemap: http://сайт.ru/sitemap.xml

у меня так.

у меня же несколко зеркала, как правильно написать? если не сложно пишите заранее спасибо

[veb74 10]

Я вот только насчет этой строки не уверен

Disallow: /index.php?subaction=newposts

туда лезет яндекс

[abasive 41]

Я вот только насчет этой строки не уверен

Disallow: /index.php?subaction=newposts

туда лезет яндекс

да ты прав а на этих какие роботы лезут не стоит запретить индексировать?

engine/

backup/

user/

cache/

templates/

language/

[veb74 10]

Я поверил целсофту, что всё ок и не надо лишнего. И не напрягал мозг.

[WMDrakon 20]

Я поверил целсофту, что всё ок и не надо лишнего. И не напрягал мозг.

Я поступил точно так же

[abasive 41]

я так сделал

User-agent: *

Crawl-delay: 10

Host: www.главная зеркала

Sitemap: http:/главная зеркала/sitemap.xml

Изменено 25 мая 2009 пользователем abasive

[WMDrakon 20]

abasive,

вообще зеркало надо запретить к индексации и все.

[abasive 41]

abasive,

вообще зеркало надо запретить к индексации и все.

ну зачем запретить если можно сделать так чтобы зеркала тоже индексировал

[Captain 623]

А толку, Яша склеит и не факт что на основной домен.

[lifestar 18]

А толку, Яша склеит и не факт что на основной домен.

для этого и существует

Host:

[abasive 41]

правильно так

User-agent: *

Disallow:

Host: www.site.ru

Sitemap: http://site.ru/sitemap.xml

google игнорирует Crawl-delay:

[lifestar 18]

Host: www.site.ru

ну это уже на любителя, я предпочитаю без www