Перейти к публикации

помогите с роботс.тхт


Рекомендованные сообщения

нужно запретить индексацию яндексу и рамблеру, а всем остальным разрешить.

код вставил сам, но видимо что то не так, всё равно ходят гады.

Ссылка на сообщение
Поделиться на других сайтах


User-agent : Yandex

Disallow : /


User-agent: StackRambler

Disallow : /

Ходить по сайту вы им все-равно не запретите, но индексировать ваш сайт они выдавать не будут.

Изменено пользователем ower_xz
Ссылка на сообщение
Поделиться на других сайтах

User-agent: StackRambler не актуален уже, Рамблер использует поиск Яндекса, как Mail технологию Google.

Для Яндекса и Рамблера указывается: User-agent : Yandex

Для Google и Mail: User-agent: Googlebot

Ссылка на сообщение
Поделиться на других сайтах

мне надо разрешить всем кроме яндекса,

а вот это

Disallow: /contact/

Disallow: /add/

Disallow: /login/

запретить всем.

Изменено пользователем kabban
Ссылка на сообщение
Поделиться на других сайтах
  • 2 недели спустя...

мне надо разрешить всем кроме яндекса,

а вот это

Disallow: /contact/

Disallow: /add/

Disallow: /login/

запретить всем.

актуально!!!

Ссылка на сообщение
Поделиться на других сайтах

kabban, вам же уже ответил Captain. Если нужно всем запретить, то дополнительно указываете то же самое для все пауков.


User-agent: *

Disallow: /contact/

Disallow: /add/

Disallow: /login/


User-agent: Googlebot

Disallow: /contact/

Disallow: /add/

Disallow: /login/


User-agent: Yandex

Disallow: /

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...