Большая нагрузка на хостинг

[StepanovD 0]

Начал наблюдать очень большую нагрузку на процессор https://prnt.sc/20crosd (хостинг Beget)

Перепробовал все мог найти на форумах и вообще в интернете: ставил чистую DLE (лицензия), убирал с сайта customы, переезжал на мощный VPS (в итоге не выдерживал и падал), уменьшал число запросов от яндекс бота (хостинг говорил что он нагружает нас), ставил cloudflare, на VPS покупали отдельную защиту от ДОС атак - по итогу ничего не помогло. 

Поставил модуль Highload чтобы наблюдать за нагрузкой и наткнулся на такие запросы, может кто что подскажет...

Посещаемость больше 12 000 / сутки

Цитата

0	0	cp	engine/modules/cron.php
0.0019	0.0014	sql	DELETE FROM dle_spam_log WHERE is_spammer = '0'
0.0071	0.0052	sql	SELECT COUNT(*) as count, news_id FROM dle_views GROUP BY news_id
0.0075	0.0003	sql	UPDATE dle_post_extras SET news_read=news_read+3 WHERE news_id='25'
0.0077	0.0002	sql	UPDATE dle_post_extras SET news_read=news_read+2 WHERE news_id='35'
0.0079	0.0002	sql	UPDATE dle_post_extras SET news_read=news_read+3 WHERE news_id='37'
0.0081	0.0001	sql	UPDATE dle_post_extras SET news_read=news_read+5 WHERE news_id='49'
0.0082	0.0001	sql	UPDATE dle_post_extras SET news_read=news_read+11 WHERE news_id='50'

и так далее примерно от 1700 запросов...

видео этой ошибки 

 

Изменено 21 ноября 2021 пользователем StepanovD

[celsoft 6 076]

33 минуты назад, StepanovD сказал:

и так далее примерно от 1700 запросов...

Если все 1700 такие как последние, то это обновление счетчика просмотров новостей, т.е. такое количество новостей у вас было просмотрено на сайте. Счетчик новостей включается и отключается в настройках скрипта, а если он вам нужен, то значит увеличивайте ресурсы своего сервера, т.к. просмотры напрямую зависят от количества обращений к сайту, а у вас оно очевидно есть. И они в данном случае итак уже простые и проще не могут быть в принципе.

А если такого количества реальных посетителей на вашем сайте нет, то скорее всего на ваш сайт идет банальная DDOS атака. Это уже смотрите логи сервера, чтобы понять что это. Реальные люди или атака ботами на сайт.

[StepanovD 0]

2 часа назад, celsoft сказал:

Если все 1700 такие как последние, то это обновление счетчика просмотров новостей, т.е. такое количество новостей у вас было просмотрено на сайте. Счетчик новостей включается и отключается в настройках скрипта, а если он вам нужен, то значит увеличивайте ресурсы своего сервера, т.к. просмотры напрямую зависят от количества обращений к сайту, а у вас оно очевидно есть. И они в данном случае итак уже простые и проще не могут быть в принципе.

А если такого количества реальных посетителей на вашем сайте нет, то скорее всего на ваш сайт идет банальная DDOS атака. Это уже смотрите логи сервера, чтобы понять что это. Реальные люди или атака ботами на сайт.

Отключил просмотры на сайте и все равно идут такие логи

[Хоббит 35]

Включён подсчет количество новостей в категориях? 

[StepanovD 0]

9 часов назад, Хоббит сказал:

Включён подсчет количество новостей в категориях? 

Был выключен, вчера включил, т.к. делал оптимизацию кода а надежде что поможет

[MSK 289]

18 часов назад, StepanovD сказал:

Начал наблюдать очень большую нагрузку на процессор

что в это время произошло с посещаемостью, увеличилась или нет?

[celsoft 6 076]

17 часов назад, StepanovD сказал:

Отключил просмотры на сайте и все равно идут такие логи

Не могут они идти при отключенном счетчике просмотров новостей. Только если у вас есть какие то сторонние модули или плагины, делающие также подсчеты новостей.

12 часов назад, Хоббит сказал:

Включён подсчет количество новостей в категориях? 

Это запросы счетчика просмотров новостей, а не количества новостей в категориях.

[Хоббит 35]

17 часов назад, celsoft сказал:

Это запросы счетчика просмотров новостей, а не количества новостей в категориях.

Я читал пост ТС. 

19 часов назад, StepanovD сказал:

Был выключен, вчера включил, т.к. делал оптимизацию кода а надежде что поможет

У меня при 2млн "page views" в HighLoad запросы просмотра показаны в фиолетовом с общим временем больше 10 000 сёк. 

Также выделенный сервер падал 3-6 раз в сутки.

Пытался увеличить ОЗУ, перенести сайт на другой более мощный сервер (AMD EPYC с 48 ядрами), банить подозрительных ботов через Cloudflare, отключил "Подсчет количество новостей", включил кэш для всех {custom..}, переключил кэш с файловый на memcache. 

Это немного помогло, количество падении уменьшилось с 3-6 до 1-2.

Недавно временно победили проблему перезапуская потоков Apache. 

Скорее всего у вас БД падает из-за тяжёлых запросов похожих на "подсчет количество новостей в категориях", проверьте плагины. 

Есть ли какие нибудь симптомы? Например очень много потоков Apache или в 00:00 падает каждый день? 

Изменено 23 ноября 2021 пользователем Хоббит

[kamensk 86]

2 часа назад, Хоббит сказал:

при 2млн "page views"

Это сколько посетителей в сутки?

[ZzzBep 18]

53 минуты назад, kamensk сказал:

Это сколько посетителей в сутки?

Тыс 30 примерно

[aleksandrhristich 107]

1 час назад, ZzzBep сказал:

Тыс 30 примерно

Даже интересно стало что это за проект такой нехилый с такой посещаемостью...

[ZzzBep 18]

10 минут назад, aleksandrhristich сказал:

Даже интересно стало что это за проект такой нехилый с такой посещаемостью...

Дождемся автора поста и узнаем, мне кстати тоже интересно, так как у меня на данный момент около 20 тыс сутки

[aleksandrhristich 107]

1 час назад, ZzzBep сказал:

...так как у меня на данный момент около 20 тыс сутки

Ссылочкой не поделитесь?

[ZzzBep 18]

26 минут назад, aleksandrhristich сказал:

Ссылочкой не поделитесь?

Новостник на другой cms :)

[Хоббит 35]

8 часов назад, kamensk сказал:

Это сколько посетителей в сутки?

70k в сутки 

[kamensk 86]

7 часов назад, ZzzBep сказал:

Новостник на другой cms :)

На выделенном серваке, вдс или шаред?

58 минут назад, Хоббит сказал:

70k в сутки 

А если не секрет - сколько прибыли приносит?

[Хоббит 35]

10 часов назад, kamensk сказал:

А если не секрет - сколько прибыли приносит?

Секрет :)

[aleksandrhristich 107]

15 часов назад, kamensk сказал:

На выделенном серваке, вдс или шаред?

А если не секрет - сколько прибыли приносит?

Интересно что это за проект такой нехилый с такой посещаемостью... Если не секрет :)

[ZzzBep 18]

5 часов назад, Хоббит сказал:

Секрет :)

Думаю достаточно чтобы сидеть дома и кидать козюльки в потолок:)

15 часов назад, kamensk сказал:

На выделенном серваке, вдс или шаред?

На шареде сидит, тяжко ему. Знаю что плохо, но пока так.

[kamensk 86]

1 час назад, ZzzBep сказал:

На шареде сидит, тяжко ему. Знаю что плохо, но пока так.

20 кусков на хостинге? Для сайтов на ДЛЕ это не слабая нагрузка - а для других cms тем более.

Нет, я не собираюсь  ставить под сомнения, ваши слова.

Какой объем опративы?

[ZzzBep 18]

1 час назад, kamensk сказал:

Какой объем опративы?

1024

1 час назад, kamensk сказал:

Для сайтов на ДЛЕ это не слабая нагрузка - а для других cms тем более.

Хотите сказать что dle будет падать? и Расходовать больше чем сейчас?

Изменено 24 ноября 2021 пользователем ZzzBep

[kamensk 86]

1 час назад, ZzzBep сказал:

Хотите сказать что dle будет падать? и Расходовать больше чем сейчас?

Я хочу сказать, что ДЛЕ самая легкая cms по сравнеии с другими. Ну если другая cms держит 20  кусков - то ДЛЕ по вашим озвученным данным должна выдержать уже до 50кусков.))

Ну это так - ирония.

 

[ZzzBep 18]

3 часа назад, kamensk сказал:

Я хочу сказать, что ДЛЕ самая легкая cms по сравнеии с другими. Ну если другая cms держит 20  кусков - то ДЛЕ по вашим озвученным данным должна выдержать уже до 50кусков.))

Ну это так - ирония.

Вообще выдерживал 10000-15000 онлайн, но хостинг кипишь начинал поднимать )) итого несколько раз было 60-80к

Изменено 24 ноября 2021 пользователем ZzzBep

[kamensk 86]

2 часа назад, ZzzBep сказал:

выдерживал 10000-15000 онлайн

это боты что ли? Или ты владелец вк или ок?))

Ну тут ты уже приврал - хостинги больше 100подключений не дают.

В лучшем случае 100. Обычно существенно меньше - 60-80.

[ntrtv 55]

Странно, у нас бывает иногда по 200-300 000 суточная. Изредка, обычно меньше уж. DLE выдерживает без проблем. Обычный бюджетный VPS,