помогите с роботс.тхт

[kabban 6]

нужно запретить индексацию яндексу и рамблеру, а всем остальным разрешить.

код вставил сам, но видимо что то не так, всё равно ходят гады.

[ower_xz 116]

User-agent : Yandex

Disallow : /


User-agent: StackRambler

Disallow : /

Ходить по сайту вы им все-равно не запретите, но индексировать ваш сайт они выдавать не будут.

Изменено 22 декабря 2011 пользователем ower_xz

[Captain 613]

User-agent: StackRambler не актуален уже, Рамблер использует поиск Яндекса, как Mail технологию Google.

Для Яндекса и Рамблера указывается: User-agent : Yandex

Для Google и Mail: User-agent: Googlebot

[Adobe 111]

Я думал рамблер умер давно оО

[Captain 613]

Я думал рамблер умер давно оО

Тож, давно не пользовался.

[kabban 6]

User-agent: *

Disallow :

/contact/

/add/

/login/

User-agent : Yandex

Disallow : /

так правильно?

[Captain 613]

Скорее так:

User-agent: Googlebot

Disallow: /contact/

Disallow: /add/

Disallow: /login/


User-agent: Yandex

Disallow: /

[kabban 6]

мне надо разрешить всем кроме яндекса,

а вот это

Disallow: /contact/

Disallow: /add/

Disallow: /login/

запретить всем.

Изменено 22 декабря 2011 пользователем kabban

[kabban 6]

мне надо разрешить всем кроме яндекса,

а вот это

Disallow: /contact/

Disallow: /add/

Disallow: /login/

запретить всем.

актуально!!!

[ower_xz 116]

kabban, вам же уже ответил Captain. Если нужно всем запретить, то дополнительно указываете то же самое для все пауков.

User-agent: *

Disallow: /contact/

Disallow: /add/

Disallow: /login/


User-agent: Googlebot

Disallow: /contact/

Disallow: /add/

Disallow: /login/


User-agent: Yandex

Disallow: /

[- Den - 32]

Если запрещено всем

User-agent: *

то уже ничего не нужно, потому что мы уже запретили всем.

[kabban 6]

ок, спасибо.