Перейти к публикации

Ограничения для поисковых ботов через robots.txt


Рекомендованные сообщения

Столкнулся что на один мой сайт повысилась нагрузка из за усиленной работы ботов поисковиков. Страниц много и они видимо очень бурно начали рыть сайт, в частности Google.

Дак вот, решил ограничить им параметры. Например прописать:

User-agent: *

Disallow:

Host: sait.ru

Crawl-delay: 2 # задает таймаут в 2 секунды

Так будет правильно или нет? Интересует для всех ботов настройка.

Ссылка на сообщение
Поделиться на других сайтах
  • 2 недели спустя...

Crawl-delay: 2 # задает таймаут в 2 секунды

Как понял Google бот эту строку не учитывает. Ограничение для него можно задать только через https://www.google.com/webmasters/

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...