Помогите правильно создать robots.txt

[lepota 3]

Помогите правильно создать robots.txt надо закрыть все, а оставить только главную, краткие новости, полную новость и статические страници. Выручайте.

[Creocreo 18]

Если покажете сайт (можно в ПМ), то будет яснее, какие страницы нужно закрывать.

Я по стандарту на своих сайтах ставлю такие правила в роботс.тхт:

User-agent: *

Disallow: /user/

Disallow: /templates/

Disallow: /engine/

Disallow: /index.php?do=

Disallow: /*print*.html

Для начала хватит?

Изменено 7 апреля 2010 пользователем Creocreo

[Captain 624]

User-agent: *

Disallow: /index.php?*

Disallow: /*rss

Disallow: /user/

Disallow: /catalog/

Disallow: /tags/

Disallow: /2009/

Disallow: /2010/

Allow: /

Sitemap: http://www.site.ru/sitemap.xml

Host: www.site.ru

2009 и 2010 это календарь и архивы.

Принт в настройках скрипта отключается.

Какие у тя еще страницы мне неизвестно.

Изменено 7 апреля 2010 пользователем Captain

[lepota 3]

Как правильно написать Host: - Host: site.ru ли Host: http://site.ru

а так

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.my_site.ru/sitemap.xml

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

[Creocreo 18]

Captain

Принт в настройках скрипта отключается.

Не совсем верно

Сама страница для печати выдается без метатегов с указанием индексировать её или нет.

В настройках только ссылка на версию для печати обрамляется с нофоллоу, ноиндекс.

Однако, в старых версиях этого не было. И если страницы для печати уже попали в индекс, то поисковики продолжают к ним обращаться.

Исключаю эти попавшие страницы в роботс.тхт, они тогда удаляются из индекса.

[Captain 624]

А так, выкинь его в топку, я выше подправил топик.

Изменено 7 апреля 2010 пользователем Captain

[Creocreo 18]

lepota

вместо

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

достаточно:

Disallow: /index.php?do=

[Captain 624]

достаточно:

Disallow: /index.php?do=

Правильнее так

Disallow: /index.php?*

Однако, в старых версиях этого не было. И если страницы для печати уже попали в индекс, то поисковики продолжают к ним обращаться.

Они и так вылетят.

[Creocreo 18]

Captain

Согласен, но я не особо люблю звездочку.

Они и так вылетят.

Нет, не вылетят, как это ни печально. Добровольно не хотят, редиски этакие

Поисковики любят текстовые версии