desart 7 Опубликовано: В воскресенье в 15:48 Рассказать Опубликовано: В воскресенье в 15:48 (изменено) Всем привет! Подскажите, знающие... Стал замечать, что ежедневно на сайт заходят "боты" под определенным user-agent и делают каждый раз 1 GET запрос к категории... Не могу понять, что нужно им... Обращаются только к категориям и index.php. Один запрос с 1 адреса. *** По времени - НЕ подряд за 1 секунду, а именно в течение всего дня... За день набегает в среднем 30-100 таких запросов... ***Отказы в Метрике выросли - не могу понять из-за них или нет... по идее раз есть секундный запрос, то он его должен был посчитать(в вэбвизор естественно их не видно). user-agent всегда: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 жаль, что слишком распространенный... ip-адреса разные, страны также. Заблокировал 100-150 подсетей, но заходы продолжаются с других подсетей этих ASN Количество ASN неизвестное, собираю в кучку ежедневно, чтобы понять... Для примера несколько адресов: 23.26.71.237 / 31.58.20.73 / 45.43.65.80 / 64.137.103.160 / 84.33.233.166 / 107.172.116.2 / 145.223.46.136 / 174.140.254.95 / 192.154.250.114 / 216.158.205.197 Частенько среди них попадаются: trafficforce UAB, Latitude.sh и FASTPLANET LTD *** rss отключён, и я грешу на это, что сканирует на новые материалы в категориях... возможно потом парсят... Может кто-то сталкивался и может подсказать? Изменено В воскресенье в 15:53 пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 179 Опубликовано: В воскресенье в 18:19 Рассказать Опубликовано: В воскресенье в 18:19 2 часа назад, desart сказал: Может кто-то сталкивался и может подсказать? Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
desart 7 Опубликовано: В воскресенье в 19:58 Рассказать Опубликовано: В воскресенье в 19:58 Автор 1 час назад, celsoft сказал: Всех и всегда ежедневно сканируют. Причин миллион и одна, и назначение ботов всегда разное, кто то сканирует для маркетинговых целей, что наиболее часто встречается, или например ИИ обучаются тоже не за счет воздуха, плюс плеяда спам ботов и так далее и так далее. Это вообще норма для интернета. Боротся с ветряными мельницами просто глупо, таких компаний десятки тысяч, от всех не отобьетесь никогда. Спасибо! Просто такое ощущение, что это целенаправленное действие... За 2 недели картина из 14 ASN(пока, хотя думаю больше и не будет) и только ip/подсети меняются для этих ASN, а user-agent зараза! почти самый популярный(массовый). В облаке давно бы была решена проблема блоком этих 14 ASN... А так получается от 30 до 400 подсетей у каждой - муторно " с ветряными..." ))) *Я бы конечно подзабил... но эти заразы делают отказы в метрике и понижают CPMV (стоимость за 1000 показов) Цитата Ссылка на сообщение Поделиться на других сайтах
desart 7 Опубликовано: 22 часа назад Рассказать Опубликовано: 22 часа назад (изменено) Автор Тогда более конкретно т.к. выделились конкретные ASN и входы идут тупо со всех подсетей этих ASN и ip этих подсетей: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... (ведь это просто скрытие реального адреса и только, а не подмена запроса налету...) А не постоянно заходить в категории???!!! **После блокировки части таких подсетей - "попёрло" ))) и количество таких "посещений" увеличилось в разы, до 200-300 в день. Как видно на скрине(маленький-маленький пример, названия категорий заменил), идёт перебор ip-адресов из подсетей: 45.202.*.*, 154.213.*.*, 156.228.*.*, 156.233.*.*, 156.242.*.*, 156.248.*.*, и другие подсети, но в меньшем количестве перебираемых ip... Например начинается с 156.228.0.* и дальше до 156.228.189.* "3xK Tech GmbH — это провайдер хостинга. Компания предлагает услуги в области хостинга, облачных вычислений, CDN и аренды IP-адресов." AS200373 has 181 prefixes AS spam rate - 56.34% / Network Spam Rate - 50.78% На "нагуливание" бота совсем не похоже... Единственное о чём думаю - конкуренты бомбят?! Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Изменено 22 часа назад пользователем desart Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 179 Опубликовано: 5 часов назад Рассказать Опубликовано: 5 часов назад 17 часов назад, desart сказал: Реальные способы борьбы есть? или кроме крутецкой функции Облачного хостинга(бан по ASN) ничего больше нет?! Способ борьбы это бан по IP или по подсети. 17 часов назад, desart сказал: я правильно понимаю, что если это прокси, или какой-то иной "маршрутизатор"(грубо), то в любом случае он должен обращаться к чему-то конкретному? *в том смысле, что даже если это какая-то "скрывалка"/прокси/ВПН, то в любом случае клиент должен попасть на определенный адрес страницы/картинки/видео... Зависит от того логируете вы это иди нет. Статику ведь можно и не логировать чтобы экономить ресусры сервера. Логи же это запись на диск файлов. Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.