Забанить ботов в DLE

[Max_Factor 0]

Здравствуйте. 

Подскажите, если в конце .htaccess указать данный запрет, он будет работать и запрещать доступ к DLE?

SetEnvIfNoCase User-Agent "Abonti|Amazonbot|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Barkrowler|Baiduspider|BDCbot|bidswitchbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|CriteoBot|ClaudeBot|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|Google-Extended|Go-http-client|GPTBot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|python-requests|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|sqlmap|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZoominfoBot|ZyBORG" bad_bot
Deny from env=bad_bot

Изменено 2 ноября пользователем Max_Factor

[Captain 623]

Перед:

<IfModule mod_rewrite.c>
	RewriteEngine On

Вставить:

<IfModule mod_setenvif.c>  
    SetEnvIfNoCase User-Agent (badcrawler|badbot|badagent) bad_user_agents  
    Order Allow,Deny  
    Allow from all  
    Deny from env=bad_user_agents
</IfModule>

Подробнее и как проверить работоспособность запрета по ссылке: Роботы или боты: какие бывают, как их вычислять, ограничивать и блокировать

Изменено 2 ноября пользователем Captain

[Max_Factor 0]

спасибо за ответ. 

Но например, мне нужно исключить некоторых ботов, например  Yandex

в данном правиле блокирует все боты?

[Captain 623]

18 минут назад, Max_Factor сказал:

в данном правиле блокирует все боты?

Только те, которые указаны в этом фрагменте: (badcrawler|badbot|badagent). Это перечисление ботов через вертикальную черту.

[Max_Factor 0]

сделал как написали, и сайт Internal Server Error 500

[Captain 623]

Возможно модуль mod_setenvif для Apache не установлен, проверьте также синтаксис вставляемого кода. В статье есть ещё примеры с mod_rewrite и для конфига Nginx.

[aleksandrhristich 107]

Один из рабочих способов блокировки ботов, без нагрузки (отдаем пустую страницу 444, без контента).

В конфиг Nginx добавить:

server {
	.....
	include /etc/nginx/blockrobots.conf;
    ....
	
        }

Сам файл blockrobots.conf прилагается (закинуть в директорию Nginx: /etc/nginx).

Ссылка на blockrobots https://disk.yandex.ru/d/fNSwCVntna0ojQ

Те же боты для файла robot.txt

https://disk.yandex.ru/d/puSFA-2Y4ASAPw

[celsoft 6 072]

7 часов назад, Max_Factor сказал:

сделал как написали, и сайт Internal Server Error 500

Allow Deny не будет работать на Апаче 2.4 и выше если не установлен модуль совместимости mod_access_compat для Апача

[Captain 623]

1 час назад, celsoft сказал:

Allow Deny не будет работать на Апаче 2.4 и выше если не установлен модуль совместимости mod_access_compat для Апача

О как, я и не знал, на Debian модуль по умолчанию установлен.