Ограничения для поисковых ботов через robots.txt

[DeeMon 73]

Столкнулся что на один мой сайт повысилась нагрузка из за усиленной работы ботов поисковиков. Страниц много и они видимо очень бурно начали рыть сайт, в частности Google.

Дак вот, решил ограничить им параметры. Например прописать:

User-agent: *

Disallow:

Host: sait.ru

Crawl-delay: 2 # задает таймаут в 2 секунды

Так будет правильно или нет? Интересует для всех ботов настройка.

[celsoft 6229]

Да правильно. http://dle-news.ru/tips/557-priruchaem-poiskovyx-robotov.html

[DeeMon 73]

Crawl-delay: 2 # задает таймаут в 2 секунды

Как понял Google бот эту строку не учитывает. Ограничение для него можно задать только через https://www.google.com/webmasters/