Блокировка нежелательных ботов на сайте - модуль DetectBot

[GoldSoft 23]

Модуль добавляет ботов, посетивших ваш сайт и которые не способны исполнять Javascript код, в список посещений. Затем вы можете заблокировать нежелательных ботов по User-Agent или по IP-адресу и при последующем посещении им будет показана заглушка (например, с кодом ответа 404 или 500). После установки модуля визиты ботов сохраняются в списке с названием «Список №1». При необходимости вы можете добавить новый список (категорию) с независимыми настройками. Помните, что по умолчанию, все параметры в новой категории отключены, например, чтобы начать сбор статистики для этой категории надо включить параметр «Сохранять статистику посещений».
В каждой из трех вкладок со списками имеется возможность поиска определенной записи, например, по IP-адресу или User-Agent. Как и в большинстве модулей, используется Ajax и возможность отправки данных форм по сочетанию клавиш «Ctrl + Enter» для более комфортной работы в админпанели. Уникальная система вывода табличных данных для списков визитов и запрещенных ботов в админпанели: фильтрация по большинству полей, сортировка по ключевым значениям, возможность скрыть/показать определенные колонки таблицы и т.д.
Модуль работает со всеми версиями DLE от 10.0 и выше. На более ранних версиях работа модуля не проверялась. Установка модуля полностью автоматическая.

http://demo2.new-dev.ru/admin.php?mod=detectbot Демо настроек модуля в админпанели
Цена - от 19$
https://new-dev.ru/79-detectbot-blokirovka-nezhelatelnyh-botov-na-sajte.html Страница модуля с более подробной информацией
Там же можно купить модуль в автоматическом режиме

[Captain 611]

.htaccess

SetEnvIfNoCase User-Agent "SemrushBot|AhrefsBot|Baiduspider|svetabot|MegaIndex|MJ12bot|Riddler|aiHitBot|trovitBot|Detectify|BLEXBot|LinkpadBot|dotbot|FlipboardProxy" bad_bot
<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>

Бесплатно, на всех версиях.

[Nektov 59]

А зачем их блокировать?

[Oxigen 7]

17 часов назад, Nektov сказал:

А зачем их блокировать?

Тут можно получить ответ.

[desart 4]

09.11.2022 в 10:18, Captain сказал:

.htaccess

SetEnvIfNoCase User-Agent "SemrushBot|AhrefsBot|Baiduspider|svetabot|MegaIndex|MJ12bot|Riddler|aiHitBot|trovitBot|Detectify|BLEXBot|LinkpadBot|dotbot|FlipboardProxy" bad_bot
<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>

Бесплатно, на всех версиях.

А такая конструкция работает, например:

SetEnvIfNoCase User-Agent "SemrushBot*|AhrefsBot/*|

звезда и слэш (я выделил) - не дадут сбой?

Хочу избавиться от лишнего в файле, чтобы вес значительно поубавить... а то на каждого бота вот так:

SetEnvIfNoCase User-Agent "LetsearchBot/*" bot
SetEnvIfNoCase User-Agent "LightspeedSystemsCrawler Mozilla/*" bot
SetEnvIfNoCase User-Agent "Linespider/*" bot
SetEnvIfNoCase User-Agent "Links" bot
SetEnvIfNoCase User-Agent "Linux Mozilla" bot
SetEnvIfNoCase User-Agent "Mail.RU_Bot/*" bot
SetEnvIfNoCase User-Agent "MegaIndex.ru/*" bot
SetEnvIfNoCase User-Agent "SeznamBot/*" bot
SetEnvIfNoCase User-Agent "sfFeedReader/*" bot
SetEnvIfNoCase User-Agent "SimplePie/*" bot
SetEnvIfNoCase User-Agent "SiteCheckerBotCrawler/*" bot
SetEnvIfNoCase User-Agent "Siteimprove.com" bot
SetEnvIfNoCase User-Agent "Spider_Bot*" bot
SetEnvIfNoCase User-Agent "statdom.ru/*" bot
SetEnvIfNoCase User-Agent "StatOnlineRuBot/*" bot

*небольшой плюс конечно есть - удобно просматривать 😁

Изменено 28 декабря 2023 пользователем desart