У меня было такое у нескольких сайтов которые лежат на одном известном хостинге. Когда клиенты хостинга начали заваливать ТП вопросами по этому поводу, то хостинг выкатил обнову на свои сервера и одномоментно отсек всех таких ботов.
Это делается конфигом Апача, я читал статью про такую конфигурацию, постараюсь найти и скинуть тут.
Вообще на всех нормальных хостингах они должны сами делать такую настройку, а вот на собственных серверах надо самому делать )