Как правильно прописать в robots.txt

[sanek131287 0]

Привет всем!

Подскажите, как правильно составить файл robots.txt , если ссылки на сайте без ЧПУ?

Как вот этот роботс будет выглядеть для сайта без ЧПУ:

User-Agent: *

Crawl-delay: 5

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://сайт.ru/sitemap.xml

Allow: /

Ссылка на сайт: тут

Спасибо заранее!

[Captain 636]

!!! Первым делом переименнуй admin.php и срочно удали его из роботс, т.к. роботс может посмотреть любой пользователь.

С autobackup.php сделай тоже самое.

Это с ЧПУ:

Disallow: /user/

Disallow: /favorites/

Disallow: /statistics.html

Остальное по принципу /index.php?do=register

Наведи на ссылку которую нужно закрыть и и увидишь адрес.

Allow: /

Sitemap: http://твой сайт/sitemap.xml

Host: www.твой сайт.ру

(с www или без, зависит от того по какому адресу продвигаешь сайт, для выдачи в поисковиках)

[sanek131287 0]

ок, спасибо, кое что я понял.. но меня вот интересует вот что:

с ЧПУ ссылка на профиль пользователя будет такой: сайт.ру/user/ВасяПупкин

без ЧПУ ссылка на профиль будет такой: сайт.ру/index.php?subaction=userinfo&user=ВасяПупкин

как мне прописать в роботсе, чтобы закрыть все профили от индексации, а не только Васи Пупкина

[WWW.ZEOS.IN 1161]

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

На сайте вообще будет что-то индексироваться?

[sanek131287 0]

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

я тоже так думаю, но хотелось бы знать точно...

На сайте вообще будет что-то индексироваться?

всмысле?

[WWW.ZEOS.IN 1161]

Мне почему-то показалось, что ты всё закрываешь от индексации

[sanek131287 0]

да нет, не все конечно... на сайте что должно индексироваться? Новости, да и только... всякие профили и т.д - ни к чему индексировать... а навости у меня идут с ссылкой сайт.ру/index.php?newsid=1234

[WWW.ZEOS.IN 1161]

А ну тогда ок

[Captain 636]

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

Я думаю так:

Disallow: /index.php?subaction=userinfo&user=*

Хотя все равно наверно

[sanek131287 0]

ясно... спасибо... еще есть мнения? чтобы наверняка...