desart 8 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая (изменено) Всем привет! Подскажите, знающие... Стал замечать, что ежедневно на сайт заходят "боты" под определенным user-agent и делают каждый раз 1 GET запрос к категории... Не могу понять, что нужно им... Обращаются только к категориям и index.php. Один запрос с 1 адреса. *** По времени - НЕ подряд за 1 секунду, а именно в течение всего дня... За день набегает в среднем 30-100 таких запросов... ***Отказы в Метрике выросли - не могу понять из-за них или нет... по идее раз есть секундный запрос, то он его должен был посчитать(в вэбвизор естественно их не видно). user-agent всегда: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 жаль, что слишком распространенный... ip-адреса разные, страны также. Заблокировал 100-150 подсетей, но заходы продолжаются с других подсетей этих ASN Количество ASN неизвестное, собираю в кучку ежедневно, чтобы понять... Для примера несколько адресов: 23.26.71.237 / 31.58.20.73 / 45.43.65.80 / 64.137.103.160 / 84.33.233.166 / 107.172.116.2 / 145.223.46.136 / 174.140.254.95 / 192.154.250.114 / 216.158.205.197 Частенько среди них попадаются: trafficforce UAB, Latitude.sh и FASTPLANET LTD *** rss отключён, и я грешу на это, что сканирует на новые материалы в категориях... возможно потом парсят... Может кто-то сталкивался и может подсказать? Изменено 11 мая пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 181 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая 2 часа назад, desart сказал: Может кто-то сталкивался и может подсказать? Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
desart 8 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая Автор 1 час назад, celsoft сказал: Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. Спасибо! Просто такое ощущение, что это целенаправленное действие... За 2 недели картина из 14 ASN(пока, хотя думаю больше и не будет) и только ip/подсети меняются для этих ASN, а user-agent зараза! почти самый популярный(массовый). В облаке давно бы была решена проблема блоком этих 14 ASN... А так получается от 30 до 400 подсетей у каждой - муторно " с ветряными..." ))) *Я бы конечно подзабил... но эти заразы делают отказы в метрике и понижают CPMV (стоимость за 1000 показов) Цитата Ссылка на сообщение Поделиться на других сайтах
desart 8 Опубликовано: 16 мая Рассказать Опубликовано: 16 мая (изменено) Автор Тогда более конкретно т.к. выделились конкретные ASN и входы идут тупо со всех подсетей этих ASN и ip этих подсетей: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... (ведь это просто скрытие реального адреса и только, а не подмена запроса налету...) А не постоянно заходить в категории???!!! **После блокировки части таких подсетей - "попёрло" ))) и количество таких "посещений" увеличилось в разы, до 200-300 в день. Как видно на скрине(маленький-маленький пример, названия категорий заменил), идёт перебор ip-адресов из подсетей: 45.202.*.*, 154.213.*.*, 156.228.*.*, 156.233.*.*, 156.242.*.*, 156.248.*.*, и другие подсети, но в меньшем количестве перебираемых ip... Например начинается с 156.228.0.* и дальше до 156.228.189.* "3xK Tech GmbH — это провайдер хостинга. Компания предлагает услуги в области хостинга, облачных вычислений, CDN и аренды IP-адресов." AS200373 has 181 prefixes AS spam rate - 56.34% / Network Spam Rate - 50.78% На "нагуливание" бота совсем не похоже... Единственное о чём думаю - конкуренты бомбят?! Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Изменено 16 мая пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 181 Опубликовано: 17 мая Рассказать Опубликовано: 17 мая 17 часов назад, desart сказал: Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Способ борьбы это бан по IP или по подсети. 17 часов назад, desart сказал: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... Зависит от того логируете вы это иди нет. Статику ведь можно и не логировать чтобы экономить ресусры сервера. Логи же это запись на диск файлов. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
desart 8 Опубликовано: 17 мая Рассказать Опубликовано: 17 мая Автор 8 часов назад, celsoft сказал: Способ борьбы это бан по IP или по подсети. Так и поступил... Бахнул полностью AS200373, его 181 подсеть и ещё 60 других подсетей... Даже приятно стало 😁 Цитата Ссылка на сообщение Поделиться на других сайтах
crafic 34 Опубликовано: 17 мая Рассказать Опубликовано: 17 мая 1 hour ago, desart said: Так и поступил... Бахнул полностью AS200373, его 181 подсеть и ещё 60 других подсетей... Даже приятно стало 😁 а что у вас за скрипт который логи в таблице выводит? своя статистика? Цитата Ссылка на сообщение Поделиться на других сайтах
desart 8 Опубликовано: В понедельник в 09:24 Рассказать Опубликовано: В понедельник в 09:24 Автор 17.05.2025 в 22:38, crafic сказал: а что у вас за скрипт который логи в таблице выводит? своя статистика? http Logs Viewer 6.21 - просмотр логов сервера, работает без пароля(ограничение фильтрации по 2 параметрам из 6) *таблица - выделяешь нужные строки и делаешь Export Selected и выбираешь в каком формате сохранить - csv/txt/html/log 1 Цитата Ссылка на сообщение Поделиться на других сайтах
webus 4 Опубликовано: 5 часов назад Рассказать Опубликовано: 5 часов назад 11.05.2025 в 20:48, desart сказал: Стал замечать, что ежедневно на сайт заходят "боты" под определенным user-agent и делают каждый раз 1 GET запрос к категории... Не могу понять, что нужно им... Обращаются только к категориям и index.php. Один запрос с 1 адреса. У меня было такое у нескольких сайтов которые лежат на одном известном хостинге. Когда клиенты хостинга начали заваливать ТП вопросами по этому поводу, то хостинг выкатил обнову на свои сервера и одномоментно отсек всех таких ботов. Это делается конфигом Апача, я читал статью про такую конфигурацию, постараюсь найти и скинуть тут. Вообще на всех нормальных хостингах они должны сами делать такую настройку, а вот на собственных серверах надо самому делать ) Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.