DeeMon 73 Опубликовано: 11 июня 2013 Рассказать Опубликовано: 11 июня 2013 Столкнулся что на один мой сайт повысилась нагрузка из за усиленной работы ботов поисковиков. Страниц много и они видимо очень бурно начали рыть сайт, в частности Google. Дак вот, решил ограничить им параметры. Например прописать: User-agent: * Disallow: Host: sait.ru Crawl-delay: 2 # задает таймаут в 2 секунды Так будет правильно или нет? Интересует для всех ботов настройка. Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 076 Опубликовано: 11 июня 2013 Рассказать Опубликовано: 11 июня 2013 Да правильно. http://dle-news.ru/tips/557-priruchaem-poiskovyx-robotov.html 1 Цитата Ссылка на сообщение Поделиться на других сайтах
DeeMon 73 Опубликовано: 24 июня 2013 Рассказать Опубликовано: 24 июня 2013 Автор Crawl-delay: 2 # задает таймаут в 2 секунды Как понял Google бот эту строку не учитывает. Ограничение для него можно задать только через https://www.google.com/webmasters/ Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.