desart 7 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая (изменено) Всем привет! Подскажите, знающие... Стал замечать, что ежедневно на сайт заходят "боты" под определенным user-agent и делают каждый раз 1 GET запрос к категории... Не могу понять, что нужно им... Обращаются только к категориям и index.php. Один запрос с 1 адреса. *** По времени - НЕ подряд за 1 секунду, а именно в течение всего дня... За день набегает в среднем 30-100 таких запросов... ***Отказы в Метрике выросли - не могу понять из-за них или нет... по идее раз есть секундный запрос, то он его должен был посчитать(в вэбвизор естественно их не видно). user-agent всегда: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 жаль, что слишком распространенный... ip-адреса разные, страны также. Заблокировал 100-150 подсетей, но заходы продолжаются с других подсетей этих ASN Количество ASN неизвестное, собираю в кучку ежедневно, чтобы понять... Для примера несколько адресов: 23.26.71.237 / 31.58.20.73 / 45.43.65.80 / 64.137.103.160 / 84.33.233.166 / 107.172.116.2 / 145.223.46.136 / 174.140.254.95 / 192.154.250.114 / 216.158.205.197 Частенько среди них попадаются: trafficforce UAB, Latitude.sh и FASTPLANET LTD *** rss отключён, и я грешу на это, что сканирует на новые материалы в категориях... возможно потом парсят... Может кто-то сталкивался и может подсказать? Изменено 11 мая пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 180 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая 2 часа назад, desart сказал: Может кто-то сталкивался и может подсказать? Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
desart 7 Опубликовано: 11 мая Рассказать Опубликовано: 11 мая Автор 1 час назад, celsoft сказал: Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. Спасибо! Просто такое ощущение, что это целенаправленное действие... За 2 недели картина из 14 ASN(пока, хотя думаю больше и не будет) и только ip/подсети меняются для этих ASN, а user-agent зараза! почти самый популярный(массовый). В облаке давно бы была решена проблема блоком этих 14 ASN... А так получается от 30 до 400 подсетей у каждой - муторно " с ветряными..." ))) *Я бы конечно подзабил... но эти заразы делают отказы в метрике и понижают CPMV (стоимость за 1000 показов) Цитата Ссылка на сообщение Поделиться на других сайтах
desart 7 Опубликовано: вчера в 16:26 Рассказать Опубликовано: вчера в 16:26 (изменено) Автор Тогда более конкретно т.к. выделились конкретные ASN и входы идут тупо со всех подсетей этих ASN и ip этих подсетей: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... (ведь это просто скрытие реального адреса и только, а не подмена запроса налету...) А не постоянно заходить в категории???!!! **После блокировки части таких подсетей - "попёрло" ))) и количество таких "посещений" увеличилось в разы, до 200-300 в день. Как видно на скрине(маленький-маленький пример, названия категорий заменил), идёт перебор ip-адресов из подсетей: 45.202.*.*, 154.213.*.*, 156.228.*.*, 156.233.*.*, 156.242.*.*, 156.248.*.*, и другие подсети, но в меньшем количестве перебираемых ip... Например начинается с 156.228.0.* и дальше до 156.228.189.* "3xK Tech GmbH — это провайдер хостинга. Компания предлагает услуги в области хостинга, облачных вычислений, CDN и аренды IP-адресов." AS200373 has 181 prefixes AS spam rate - 56.34% / Network Spam Rate - 50.78% На "нагуливание" бота совсем не похоже... Единственное о чём думаю - конкуренты бомбят?! Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Изменено вчера в 16:26 пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 180 Опубликовано: 12 часов назад Рассказать Опубликовано: 12 часов назад 17 часов назад, desart сказал: Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Способ борьбы это бан по IP или по подсети. 17 часов назад, desart сказал: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... Зависит от того логируете вы это иди нет. Статику ведь можно и не логировать чтобы экономить ресусры сервера. Логи же это запись на диск файлов. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
desart 7 Опубликовано: 4 часа назад Рассказать Опубликовано: 4 часа назад Автор 8 часов назад, celsoft сказал: Способ борьбы это бан по IP или по подсети. Так и поступил... Бахнул полностью AS200373, его 181 подсеть и ещё 60 других подсетей... Даже приятно стало 😁 Цитата Ссылка на сообщение Поделиться на других сайтах
crafic 34 Опубликовано: 2 часа назад Рассказать Опубликовано: 2 часа назад 1 hour ago, desart said: Так и поступил... Бахнул полностью AS200373, его 181 подсеть и ещё 60 других подсетей... Даже приятно стало 😁 а что у вас за скрипт который логи в таблице выводит? своя статистика? Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.