Блокировка ботов аналитических сервисов

[Kolbaser 33]

Недавно заметил, что на сайте и форуме прописалась куча ботов Semrush. Я их забанил по IP, но они всё равно шарятся, хоть и получают ошибку, а не содержимое страницы.

 

Прочитал, что надёжнее всего избавится от них через .htaccess. Вот предлагаемый список "ненужных" ботов:

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]

 

Куда именно в .htaccess следует прописать эти запреты?

[celsoft 6 077]

После строчки

RewriteEngine On

 

[v_glove 10]

Что это дает? Как бы в чем смысл не давать этим ботам сканировать сайт?

[Kolbaser 33]

В 24.04.2018 в 12:19, v_glove сказал:

Что это дает? Как бы в чем смысл не давать этим ботам сканировать сайт?

Они создают лишнюю нагрузку на сайт, иногда довольно ощутимую. А для сайта не несут никакой пользы. Например, конкуренты могут воспользоваться таким сервисом для изучения вашего сайта.