Как правильно создать robots.txt

[riptup 1]

Здравствуйте. У меня лицензия - сайт playnomer.org. Сайт забросил, буду сносить весь контент к черту, так как произошел крах базы mcql, и теперь многие ссылки ведут никуда (в основном ссылки на изображения). Ближе к теме, надо помочь составить правильный robots.txt для гугла и яндекса. По своему опыту знаю что стандартный роботс не очень. Кто знает как правильно создать для обеих поисковых система? Буду очень благодарен за ответы = ).

[n0lik 75]

По своему опыту знаю что стандартный роботс не очень.

В чём он не очень?

[riptup 1]

Дядя Коля, А вам как кажется?

[Adobe 111]

Дядя Коля, А вам как кажется?

Нам кажется, что прежде чем писать глупости, стоит почитать спецификацию на www.robotstxt.org

[n0lik 75]

Дядя Коля, А вам как кажется?

Мне кажется там сделано всё правильно и верно, то что не нужно индексировать, то закрыто, а больше в роботе ничего не нужно, ну разве что добавить путь к карте сайта, хотя это тоже не обязательно.

стоит почитать спецификацию на www.robotstxt.org

Лучше тут http://help.yandex.ru/webmaster/?id=996567 (это для тех кто не силён в ENG)

[Adobe 111]

ну разве что добавить путь к карте сайта, хотя это тоже не обязательно.

Ну если Last-modified отдается корректно, то да

[Captain 624]

Кто знает как правильно создать для обеих поисковых система? Буду очень благодарен за ответы = ).

Для этого вы сами должны решить, для начала, что должно индексироваться. Robots.txt пишется индивидуально для каждого сайта, ИМХО.

Облако тегов, архивы, исключайте однозначно и т.п.. Хотя Гугл говорит последнее время и не исключать, почитайте справки:

http://help.yandex.ru/webmaster/

https://support.google.com/webmasters/?hl=ru

http://robotstxt.org.ru/

[prikindel 255]

Captain,

я тэги не исключаю никогда. они нормально индексируются и по многим запросам с поиска попадают именно на тэги

правда, при этом я не делаю из страницы облака тэгов линкопомойку без фанатизма в общем.