Max_Factor 0 Опубликовано: 2 ноября Рассказать Опубликовано: 2 ноября (изменено) Здравствуйте. Подскажите, если в конце .htaccess указать данный запрет, он будет работать и запрещать доступ к DLE? SetEnvIfNoCase User-Agent "Abonti|Amazonbot|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Barkrowler|Baiduspider|BDCbot|bidswitchbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|CriteoBot|ClaudeBot|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|Google-Extended|Go-http-client|GPTBot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|python-requests|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|sqlmap|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZoominfoBot|ZyBORG" bad_bot Deny from env=bad_bot Изменено 2 ноября пользователем Max_Factor Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 625 Опубликовано: 2 ноября Рассказать Опубликовано: 2 ноября (изменено) Перед: <IfModule mod_rewrite.c> RewriteEngine On Вставить: <IfModule mod_setenvif.c> SetEnvIfNoCase User-Agent (badcrawler|badbot|badagent) bad_user_agents Order Allow,Deny Allow from all Deny from env=bad_user_agents </IfModule> Подробнее и как проверить работоспособность запрета по ссылке: Роботы или боты: какие бывают, как их вычислять, ограничивать и блокировать Изменено 2 ноября пользователем Captain 1 Цитата Ссылка на сообщение Поделиться на других сайтах
Max_Factor 0 Опубликовано: 2 ноября Рассказать Опубликовано: 2 ноября Автор спасибо за ответ. Но например, мне нужно исключить некоторых ботов, например Yandex в данном правиле блокирует все боты? Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 625 Опубликовано: 2 ноября Рассказать Опубликовано: 2 ноября 18 минут назад, Max_Factor сказал: в данном правиле блокирует все боты? Только те, которые указаны в этом фрагменте: (badcrawler|badbot|badagent). Это перечисление ботов через вертикальную черту. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
Max_Factor 0 Опубликовано: 3 ноября Рассказать Опубликовано: 3 ноября Автор сделал как написали, и сайт Internal Server Error 500 Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 625 Опубликовано: 3 ноября Рассказать Опубликовано: 3 ноября Возможно модуль mod_setenvif для Apache не установлен, проверьте также синтаксис вставляемого кода. В статье есть ещё примеры с mod_rewrite и для конфига Nginx. Цитата Ссылка на сообщение Поделиться на других сайтах
aleksandrhristich 107 Опубликовано: 3 ноября Рассказать Опубликовано: 3 ноября Один из рабочих способов блокировки ботов, без нагрузки (отдаем пустую страницу 444, без контента). В конфиг Nginx добавить: server { ..... include /etc/nginx/blockrobots.conf; .... } Сам файл blockrobots.conf прилагается (закинуть в директорию Nginx: /etc/nginx). Ссылка на blockrobots https://disk.yandex.ru/d/fNSwCVntna0ojQ Те же боты для файла robot.txt https://disk.yandex.ru/d/puSFA-2Y4ASAPw Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 084 Опубликовано: 3 ноября Рассказать Опубликовано: 3 ноября 7 часов назад, Max_Factor сказал: сделал как написали, и сайт Internal Server Error 500 Allow Deny не будет работать на Апаче 2.4 и выше если не установлен модуль совместимости mod_access_compat для Апача Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 625 Опубликовано: 3 ноября Рассказать Опубликовано: 3 ноября 1 час назад, celsoft сказал: Allow Deny не будет работать на Апаче 2.4 и выше если не установлен модуль совместимости mod_access_compat для Апача О как, я и не знал, на Debian модуль по умолчанию установлен. Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.