Проблемы с нагрузкой!

[Gizmak 0]

Долго хостился на хт-системс. Пытался найти, что то по мощьнее - не вышло. Щас они начали грозиться блокировкой аккаунта за нагрузку. Сьехал по совету знакомого на питерхост на тариф Вега. Знакомый хостится там с посещалкой по больше моей и всё у него нормально.

После переноса сайта на питерхост, отработав там 30 минут мне приходит вот такая вот штука:

Уважаемый пользователь хостинга ***.Ru (логин: ***)

Наша автоматическая система мониторинга нагрузки процессоров выявила, что в

последнее время Ваш аккаунт создает КРИТИЧЕСКУЮ нагрузку на сервер баз данных

MySQL (mega30.z8.ru), что существенно замедляет работу других аккаунтов и угрожает

безопасности работы всего сервера целиком. Периодические тесты приведены ниже.

--------------------------------------------------------------------------------------------------

| Период тестирования | Пользователь | Нагрузка,% | CPU,мин | Запросов |

|-------------------------------------------|----------------|------------|---------|------------|

| 2007-10-07 23:35:00 - 2007-10-07 23:50:00 | dbu_electro6_1| 67% | 10.10 | 6301 |

| 2007-10-07 23:20:00 - 2007-10-07 23:35:00 | dbu_electro6_1| 74% | 11.16 | 6896 |

| 2007-10-07 23:05:00 - 2007-10-07 23:20:00 | dbu_electro6_1| 63% | 9.55 | 516 |

| 2007-10-07 22:50:00 - 2007-10-07 23:05:00 | dbu_electro6_1| 45% | 6.80 | 5290 |

| 2007-10-07 22:35:00 - 2007-10-07 22:50:00 | dbu_electro6_1| 36% | 5.49 | 4091 |

| 2007-10-07 22:20:00 - 2007-10-07 22:35:00 | dbu_electro6_1| 24% | 3.64 | 3131 |

| 2007-10-07 22:05:00 - 2007-10-07 22:20:00 | dbu_electro6_1| 26% | 3.91 | 325 |

| 2007-10-07 21:50:00 - 2007-10-07 22:05:00 | dbu_electro6_1| 22% | 3.33 | 3835 |

| 2007-10-07 21:35:00 - 2007-10-07 21:50:00 | dbu_electro6_1| 31% | 4.78 | 5390 |

| 2007-10-07 21:20:01 - 2007-10-07 21:35:00 | dbu_electro6_1| 20% | 3.05 | 2604 |

| 2007-10-07 21:05:00 - 2007-10-07 21:20:01 | dbu_electro6_1| 24% | 3.61 | 169 |

| 2007-10-07 20:50:00 - 2007-10-07 21:05:00 | dbu_electro6_1| 18% | 2.79 | 1762 |

| 2007-10-07 20:35:00 - 2007-10-07 20:50:00 | dbu_electro6_1| 19% | 2.85 | 1709 |

| 2007-10-07 20:20:01 - 2007-10-07 20:35:00 | dbu_electro6_1| 9% | 1.46 | 1132 |

| 2007-10-07 20:05:01 - 2007-10-07 20:20:01 | dbu_electro6_1| 4% | 0.69 | 48 |

| 2007-10-07 19:50:00 - 2007-10-07 20:05:01 | dbu_electro6_1| 21% | 3.18 | 1456 |

| 2007-10-07 19:35:00 - 2007-10-07 19:50:00 | dbu_electro6_1| 20% | 3.00 | 1849 |

| 2007-10-07 19:20:00 - 2007-10-07 19:35:00 | dbu_electro6_1| 18% | 2.81 | 1676 |

| 2007-10-07 19:05:00 - 2007-10-07 19:20:00 | dbu_electro6_1| 17% | 2.58 | 130 |

| 2007-10-07 18:50:01 - 2007-10-07 19:05:00 | dbu_electro6_1| 18% | 2.76 | 1691 |

| 2007-10-07 18:35:01 - 2007-10-07 18:50:01 | dbu_electro6_1| 11% | 1.71 | 1931 |

| 2007-10-07 18:20:00 - 2007-10-07 18:35:01 | dbu_electro6_1| 11% | 1.72 | 1601 |

| 2007-10-07 18:05:01 - 2007-10-07 18:20:00 | dbu_electro6_1| 13% | 1.95 | 146 |

| 2007-10-07 17:50:00 - 2007-10-07 18:05:01 | dbu_electro6_1| 22% | 3.38 | 2141 |

| 2007-10-07 17:35:01 - 2007-10-07 17:50:00 | dbu_electro6_1| 16% | 2.49 | 1816 |

| 2007-10-07 17:20:00 - 2007-10-07 17:35:01 | dbu_electro6_1| 17% | 2.56 | 1863 |

| 2007-10-07 17:05:00 - 2007-10-07 17:20:00 | dbu_electro6_1| 25% | 3.82 | 158 |

| 2007-10-07 16:50:00 - 2007-10-07 17:05:00 | dbu_electro6_1| 28% | 4.31 | 2596 |

| 2007-10-07 16:35:00 - 2007-10-07 16:50:00 | dbu_electro6_1| 13% | 2.04 | 2492 |

| 2007-10-07 16:20:00 - 2007-10-07 16:35:00 | dbu_electro6_1| 18% | 2.79 | 1853 |

| 2007-10-07 16:05:00 - 2007-10-07 16:20:00 | dbu_electro6_1| 33% | 5.08 | 172 |

| 2007-10-07 15:50:00 - 2007-10-07 16:05:00 | dbu_electro6_1| 23% | 3.59 | 2637 |

| 2007-10-07 15:35:00 - 2007-10-07 15:50:00 | dbu_electro6_1| 29% | 4.48 | 2765 |

| 2007-10-07 15:20:00 - 2007-10-07 15:35:00 | dbu_electro6_1| 33% | 5.08 | 2827 |

| 2007-10-07 15:05:01 - 2007-10-07 15:20:00 | dbu_electro6_1| 24% | 3.71 | 197 |

| 2007-10-07 14:50:00 - 2007-10-07 15:05:01 | dbu_electro6_1| 28% | 4.27 | 2414 |

| 2007-10-07 14:35:00 - 2007-10-07 14:50:00 | dbu_electro6_1| 27% | 4.07 | 2281 |

| 2007-10-07 14:20:01 - 2007-10-07 14:35:00 | dbu_electro6_1| 32% | 4.89 | 2347 |

| 2007-10-07 14:05:00 - 2007-10-07 14:20:01 | dbu_electro6_1| 27% | 4.19 | 256 |

| 2007-10-07 13:50:00 - 2007-10-07 14:05:00 | dbu_electro6_1| 13% | 2.07 | 2264 |

| 2007-10-07 13:35:00 - 2007-10-07 13:50:00 | dbu_electro6_1| 23% | 3.53 | 2737 |

| 2007-10-07 13:20:00 - 2007-10-07 13:35:00 | dbu_electro6_1| 26% | 3.99 | 3070 |

| 2007-10-07 13:05:01 - 2007-10-07 13:20:00 | dbu_electro6_1| 27% | 4.05 | 204 |

| 2007-10-07 12:50:00 - 2007-10-07 13:05:01 | dbu_electro6_1| 27% | 4.20 | 2761 |

| 2007-10-07 12:35:00 - 2007-10-07 12:50:00 | dbu_electro6_1| 31% | 4.67 | 4058 |

| 2007-10-07 12:20:01 - 2007-10-07 12:35:00 | dbu_electro6_1| 36% | 5.54 | 3888 |

| 2007-10-07 12:05:00 - 2007-10-07 12:20:01 | dbu_electro6_1| 38% | 5.83 | 264 |

| 2007-10-07 11:50:00 - 2007-10-07 12:05:00 | dbu_electro6_1| 33% | 4.98 | 2707 |

| 2007-10-07 11:35:01 - 2007-10-07 11:50:00 | dbu_electro6_1| 26% | 4.01 | 2304 |

| 2007-10-07 11:20:00 - 2007-10-07 11:35:01 | dbu_electro6_1| 19% | 2.94 | 2711 |

| 2007-10-07 11:05:01 - 2007-10-07 11:20:00 | dbu_electro6_1| 18% | 2.73 | 139 |

| 2007-10-07 10:50:00 - 2007-10-07 11:05:01 | dbu_electro6_1| 17% | 2.59 | 1552 |

| 2007-10-07 10:35:00 - 2007-10-07 10:50:00 | dbu_electro6_1| 16% | 2.41 | 1184 |

| 2007-10-07 10:20:00 - 2007-10-07 10:35:00 | dbu_electro6_1| 15% | 2.26 | 1187 |

| 2007-10-07 10:05:00 - 2007-10-07 10:20:00 | dbu_electro6_1| 11% | 1.66 | 79 |

| 2007-10-07 09:50:00 - 2007-10-07 10:05:00 | dbu_electro6_1| 9% | 1.49 | 1666 |

| 2007-10-07 09:35:00 - 2007-10-07 09:50:00 | dbu_electro6_1| 5% | 0.81 | 1508 |

| 2007-10-07 09:20:01 - 2007-10-07 09:35:00 | dbu_electro6_1| 6% | 1.05 | 1196 |

| 2007-10-07 09:05:00 - 2007-10-07 09:20:01 | dbu_electro6_1| 3% | 0.48 | 219 |

| 2007-10-07 08:50:00 - 2007-10-07 09:05:00 | dbu_electro6_1| 6% | 0.97 | 669 |

| 2007-10-07 08:35:01 - 2007-10-07 08:50:00 | dbu_electro6_1| 5% | 0.80 | 1129 |

| 2007-10-07 08:20:01 - 2007-10-07 08:35:01 | dbu_electro6_1| 3% | 0.57 | 449 |

| 2007-10-07 08:05:01 - 2007-10-07 08:20:01 | dbu_electro6_1| 14% | 2.15 | 68 |

| 2007-10-07 07:50:00 - 2007-10-07 08:05:01 | dbu_electro6_1| 6% | 1.01 | 477 |

| 2007-10-07 07:35:01 - 2007-10-07 07:50:00 | dbu_electro6_1| 6% | 1.05 | 1013 |

| 2007-10-07 07:20:01 - 2007-10-07 07:35:01 | dbu_electro6_1| 5% | 0.80 | 768 |

| 2007-10-07 07:05:00 - 2007-10-07 07:20:01 | dbu_electro6_1| 5% | 0.86 | 130 |

| 2007-10-07 06:50:00 - 2007-10-07 07:05:00 | dbu_electro6_1| 2% | 0.37 | 336 |

| 2007-10-07 06:35:01 - 2007-10-07 06:50:00 | dbu_electro6_1| 5% | 0.85 | 974 |

| 2007-10-07 06:20:01 - 2007-10-07 06:35:01 | dbu_electro6_1| 4% | 0.75 | 1282 |

| 2007-10-07 06:05:00 - 2007-10-07 06:20:01 | dbu_electro6_1| 12% | 1.88 | 100 |

| 2007-10-07 05:50:01 - 2007-10-07 06:05:00 | dbu_electro6_1| 6% | 0.91 | 1246 |

| 2007-10-07 05:35:00 - 2007-10-07 05:50:01 | dbu_electro6_1| 6% | 1.01 | 1121 |

| 2007-10-07 05:20:00 - 2007-10-07 05:35:00 | dbu_electro6_1| 2% | 0.45 | 734 |

| 2007-10-07 05:05:00 - 2007-10-07 05:20:00 | dbu_electro6_1| 3% | 0.46 | 38 |

| 2007-10-07 04:50:00 - 2007-10-07 05:05:00 | dbu_electro6_1| 5% | 0.79 | 535 |

| 2007-10-07 04:35:00 - 2007-10-07 04:50:00 | dbu_electro6_1| 4% | 0.63 | 540 |

| 2007-10-07 04:20:00 - 2007-10-07 04:35:00 | dbu_electro6_1| 3% | 0.53 | 756 |

| 2007-10-07 04:05:00 - 2007-10-07 04:20:00 | dbu_electro6_1| 5% | 0.80 | 84 |

| 2007-10-07 03:50:00 - 2007-10-07 04:05:00 | dbu_electro6_1| 10% | 1.61 | 781 |

| 2007-10-07 03:35:00 - 2007-10-07 03:50:00 | dbu_electro6_1| 15% | 2.30 | 1425 |

| 2007-10-07 03:20:00 - 2007-10-07 03:35:00 | dbu_electro6_1| 10% | 1.53 | 1376 |

| 2007-10-07 03:05:01 - 2007-10-07 03:20:00 | dbu_electro6_1| 10% | 1.62 | 200 |

| 2007-10-07 02:50:00 - 2007-10-07 03:05:01 | dbu_electro6_1| 8% | 1.25 | 2413 |

| 2007-10-07 02:35:00 - 2007-10-07 02:50:00 | dbu_electro6_1| 11% | 1.72 | 4706 |

| 2007-10-07 02:20:00 - 2007-10-07 02:35:00 | dbu_electro6_1| 19% | 2.87 | 6263 |

| 2007-10-07 02:05:01 - 2007-10-07 02:20:00 | dbu_electro6_1| 18% | 2.83 | 997 |

| 2007-10-07 01:50:01 - 2007-10-07 02:05:01 | dbu_electro6_1| 18% | 2.71 | 8983 |

| 2007-10-07 01:35:00 - 2007-10-07 01:50:01 | dbu_electro6_1| 6% | 1.01 | 5881 |

| 2007-10-07 01:20:01 - 2007-10-07 01:35:00 | dbu_electro6_1| 13% | 2.09 | 10496 |

| 2007-10-07 01:05:00 - 2007-10-07 01:20:01 | dbu_electro6_1| 15% | 2.33 | 1800 |

| 2007-10-07 00:50:00 - 2007-10-07 01:05:00 | dbu_electro6_1| 0% | 0.12 | 684 |

| 2007-10-07 00:20:00 - 2007-10-07 00:35:00 | dbu_electro6_1| 4% | 0.64 | 773 |

---------------------------------------------------------------------------------------------------

Нагрузка, создаваемая Вашим аккаунтом за 15-ти минутные промежутки

приведена в графе "Нагрузка, %". Статистику по нагрузке на MySQL за последние

7 суток можно посмотреть в разделе "Учётная информация" в панели управления

Вашим аккаунтом на нашем хостинге. Обратите внимание, что максимально

возможная загрузка центрального процессора сервера аккаунтом

пользователя на виртуальном хостинге составляет 8.5%. Во всех

приведенных случаях Ваши показатели в НЕСКОЛЬКО РАЗ превышают

допустимый порог.

Убедительная просьба: в течение ОДНИХ СУТОК отреагировать на наше письмо и

решить проблему с нагрузкой, в противном случае мы будем вынуждены

заблокировать работу аккаунта, как пытающийся нарушить работоспособность

всего сервера.

Это письмо является КРИТИЧЕСКИМ. Вам обязательно следует обратить своё

внимание на это сообщение, если Вы хотите, чтобы Ваш аккаунт сохранил

работоспособность.

Более подробно об автоматической рассылке о нагрузке Вы можете узнать

на странице наших инструкций http://www.***.ru/instr8_2.shtml

---

С Уважением,

Администрация хостинга ***.Ru

mailto:***@***.ru

Затем начинается переписка, утверждают что я им гружу проц на 79%. Заходит речь о аренде у них сервака, конфиг примерно такой хотел Celeron 2.8GHz, 1Gb RAM, 120Gb SATA HDD.

Они начинают утверждать что и выделенного серва не хватит.

Вы такую посещаемость и ожидали? За 10 минут 24 тысячи запросов!

Тут и выделенного сервера мало.

[electro6@mega30 ~/logs]$ cat access_log | grep '08/Oct/2007:00:[2][0-9]:' | wc -l

24069

--

С уважением, Arkady Kratchkovsky

Посещаемость до переезда была примерно 12000 уников по статистике liveinternt. Щас после переезда упала в двое(сайт был сутки не доступен).

Ничего не понимаю. Как люди с большей посещаемостью сидят и всё замечательно без оптимизации на тех же тарифах? Почему нехватит выделенного сервера, как они сказали?

Что вообще делать посоветуйте.

[ReviX 0]

дайте сайт глянуть

[Gizmak 0]

_electropeople.org

[eRED 0]

_electropeople.org

Дааа... база у вас не маленькая. Не думали что ваш сайт просто кто-то пытается рипнуть? Отсюда и нагрузка может возрасти. Или попробуйте еще тарифы от мастерхоста.

P.S. Вспомнил... Многие хостеры имеют привычку "выдавливать" неугодные им сайты на более дорогие тарифы. Выход - искать надежный хостинг.

Изменено 7 октября 2007 пользователем eRED

[lifestar 18]

За 10 минут 24 тысячи запросов!

Просмотрел статистику и такого не увидел. 10 тысяч за 15 минут у вас есть

Сайт по моему обычный, не понятно откуда нагрузка

[Gizmak 0]

_electropeople.org

Дааа... база у вас не маленькая. Не думали что ваш сайт просто кто-то пытается рипнуть? Отсюда и нагрузка может возрасти. Или попробуйте еще тарифы от мастерхоста.

P.S. Вспомнил... Многие хостеры имеют привычку "выдавливать" неугодные им сайты на более дорогие тарифы. Выход - искать надежный хостинг.

Незнаю как на счёт рипинуть, но есть пара сайтов которые на автомате грабят новости.

Блин чёж делать. И тут и там блочить хотят и выхода не вижу.

Как выпалить откуда всё это идёт?

Изменено 7 октября 2007 пользователем ELECTRO

[eRED 0]

Блин чёж делать. И тут и там блочить хотят и выхода не вижу.

Может вас поисковик какой нибудь индексит с жуткой скоростью?

Трясите с хостера инфу какой файл дает нагрузку на базу.

У друга на мастерхосте недавно посещаемость неожиданно случилась в размере 30000 уников за сутки. Хостер даже не пикнул.

Изменено 7 октября 2007 пользователем eRED

[Danila 8]

Блин чёж делать. И тут и там блочить хотят и выхода не вижу.

Может вас поисковик какой нибудь индексит с жуткой скоростью?

У друга на мастерхосте недавно посещаемость неожиданно случилась в размере 30000 уников за сутки. Хостер даже не пикнул.

Это просто пока не заметили, Мастерхост первый кто выгонет пользователя на дедик, особенно после подъема цен. Давно уже это обсуждалось.

[eRED 0]

Мастерхост первый кто выгонет пользователя на дедик

vps еще есть.

[celsoft 6 067]

12 000 посетителей, и 24 000 запроса за 10 минут, абсолютно нереально для DLE даже при отключенном кеше. Тут просто идет граббинг сайта в обход счетчиков, а также поисковики в момент индексации, не плохо нагружают, тут нужно выяснить по логам откуда идет максимальное количество запросов, и перекрыть доступ.

[Gizmak 0]

12 000 посетителей, и 24 000 запроса за 10 минут, абсолютно нереально для DLE даже при отключенном кеше. Тут просто идет граббинг сайта в обход счетчиков, а также поисковики в момент индексации, не плохо нагружают, тут нужно выяснить по логам откуда идет максимальное количество запросов, и перекрыть доступ.

А как нибудь по проще сделать можно? Среди кучи посетителей в лог файлах весом по 500 метров их выпалить помойму нереально.

Блин чёж делать. И тут и там блочить хотят и выхода не вижу.

Может вас поисковик какой нибудь индексит с жуткой скоростью?

Трясите с хостера инфу какой файл дает нагрузку на базу.

Если поисковики роются, не блочить же их. Что с этим делать?

Хостеры сволочи ничего делать не хотят. На питерхосте обещали помочь, выяснить, но как сегодня сказали ничего делать не будут. Наверно денег хотят...

Изменено 8 октября 2007 пользователем ELECTRO

[lifestar 18]

24 000 запроса за 10 минут

это в секунду 40 запросов!!!!

А что - можно ведь ограничить количество запросов в секунду с одного ай пи, только вот как - поищи в яндексе

[sk-soft 0]

Ну вот опять такие темки появились, а то мою тему тогда закрыли, думали я пиарю ,

Я около месяца назад общался с одним умным человеком, который сказал что все дело в размере базы данных, и что дле нормально будет работать только с базой до 50 метров, потом начинают торможения, что нужно переписывать координально весь движок. У меня была база 70 метров. нагрузка была действительно очень большая, и я об этом не однократно писал.

Даю конкретные советы:

Общий размер базы данных: 133.12 Mb

можно уменьшить ее до 50 метров удалив устаревшие коменты (которых у тебя 120 000) можно оставить 10 000 и вполне народ будет жить.

Пользователей у тебя около 70 000 - многовато.. можно удалить тех ,кто не посещал сайт около 3 месяцев. зачем на них место расходовать..

и твоя база уменьшится минимум до 50 мегабайт, я ничего не говорю - умняк не кошу.. но когда я удалил лишнее. у меня нагрузка снизилась с 40 % до 25 примерно.

Уважаемый Celsoft большое спасибо за версию 6.3, а в особенности за изменения в сторону оптимизации скрипта, ведь движок суперский, осталось оптимизировать и оттачивать его функции, хотя впринципе это уже не мне советовать

electro и подожди версию 6.3 там будет оптимизировано многое, уверен нагрузка спадет.

p.s. електро. я просто дал советы, попробуй сделать то что я говорю, и потом сразуже обратись к хостеру, спроси уменьшилась нагрузка или нет.. в любом случае этот эксперимент от силы полчаса займет.

[Gizmak 0]

Тоже были недавно мысли на тему размера БД. Но до октября нагрузка не беспокоила...база за месяц выросла не на много, 10-15 метров. Недумаю что эти 10-15 метров могли так нагрузить сервак.

[sk-soft 0]

тогда в лучшем случае, у твоего хостера, все криво настроено.

Но не думай что ты один, у меня тоже нагрузка великовата..

я плачу 100 у.е в месяц за хостинг, можно было уже и дедик взять, но не хочу

[MLT 0]

грузит базу хорошо, причем у меня аналогичная ситуация, правда база 40 мб, у меня дедик двоядерка, но опприто все, в пиках базу на 70% грузит, главнйы прикол втом был что грузит по 6раз в минуту, я проанализировал и понял что грузит не сам ДЛЕ, а именно поиск по сайту (ДЛЕ поиск), тестили мы с друзьями как тока чет попробуеш искать сразу этот пик валит нагрузка, советовался с людьми окторые занимаються перепиской двигов говорили, что надо отпимизировать поиск, сам поиск ато выходит что он всю базу перерывает чтобы найти чет, и поетому такая нагрузка, ув Целсофт пожалуйста помогите с данным вопросом, буду оч признателен.. спасибо... надеюсь на Вас!

[celsoft 6 067]

тестили мы с друзьями как тока чет попробуеш искать сразу этот пик валит нагрузка, советовался с людьми окторые занимаються перепиской двигов говорили, что надо отпимизировать поиск, сам поиск ато выходит что он всю базу перерывает чтобы найти чет, и поетому такая нагрузка, ув Целсофт пожалуйста помогите с данным вопросом, буду оч признателен.. спасибо... надеюсь на Вас!

уже оптимизировано в 6.2. Если полтекстовый поиск будет продолжать генерировать нагрузку, то перейдите в настройках скрипта на простой поиск.