Большая нагрузка от скриптов DataLife Engine

[izbushkin 3]

Здравствуйте форумчане и администрация форума. Возникла такая проблема. У меня сайт http://www.izbushki.net/ с посещаемостью 10-11 тыс пользователей в сутки. Куплена и установлена пожизненная лицензия жвижка (8.3). Сначала хостился на обычном хостинге по тарифу 10 Гб (http://www.mchost.ru/hosting/corporate/) и всё было вроде нормально.

Затем закончилось место (10 Гб) и мне предложили перейти на VPS. Вот вчера я перешёл на VPS-3 (http://www.mchost.ru/vps/vps3/) и всё, начались проблемы.

Постоянно приходит сообщение о превышении нагрузки или сайт просто выключен.

Вот сообщение от администрации: "У вас большая нагрузка от скриптов: load average: 22.94, 32.78, 18.25 установка nginx не помогает".

Вобщем администраторы хостинга даже тестово переводили сайт на VPS-5, но проблема не исчезла.

основную нагрузку мна сервер производит большое количество подобных запросов:

| 209 | a20160_izbunet | localhost | a20160_izbanet | Query | 1 | Copying to tmp table | SELECT DATE_FORMAT(date,'%b %Y') AS m_date, COUNT(*) AS cnt FROM dle_post WHERE approve AND date < ' |

| 210 | a20160_izbunet | localhost | a20160_izbanet | Query | 1 | Copying to tmp table | SELECT DATE_FORMAT(date,'%b %Y') AS m_date, COUNT(*) AS cnt FROM dle_post WHERE approve AND date < ' |

| 211 | a20160_izbunet | localhost | a20160_izbanet | Query | 0 | Copying to tmp table | SELECT DATE_FORMAT(date,'%b %Y') AS m_date, COUNT(*) AS cnt FROM dle_post WHERE approve AND date < ' |

| 212 | a20160_izbunet | localhost | a20160_izbanet | Query | 0 | Copying to tmp table | SELECT DATE_FORMAT(date,'%b %Y') AS m_date, COUNT(*) AS cnt FROM dle_post WHERE approve AND date < ' |

Вобщем админы просят оптимизировать работу сайта с бд и говорят, что проблема с движком... Что делать?

P.S. После суток общения с администрацией и техподдержки хостинга сайт вроде заработал, но может только из-за того, что ночь на дворе. Так что не знаю что меня ждёт завтра...

[maks1192 96]

Нужно указать какие модули стоят на твоем сайте (все).

Делал оптимизацию БД через админ-центр?

[Red Drag 18]

Я думаю у вас слишком большая база данных,попробуйте удалить старые ненужные новости,а также в настройках укажите чтобы скрипт автоматически удалял пользователей которые не заходили на сайт допустим два месяца.

Ну это если только не поможет то что написал maks1192

[Creocreo 18]

Включайте в админке кеширование всего, чего можно, в том числе просмотров новостей.

Если не поможет, меняйте хостера на более адекватного. Эти видимо любять мерять не среднюю нагрузку за час, а пиковую нагрузку в отдельные моменты, когда идет обновление кешированных данных.

На нормальном VPS не бывает такого

Изменено 8 января 2010 пользователем Creocreo

[Red Drag 18]

Я сам на этом хостинге только у меня WinVPS,два сайта один на DLE но с маленькою посещалкой а другой на MKportal+IPB посещалка окало 5000-7000 держит норм!

[celsoft 5 992]

В настройках скрипта в разделе оптимизации отключайте все неиспользуемые и ненужные функции.

Например в вашем листинге это запросы формирования архива и календаря, а на сайте их нет, вопрос зачем они тогда включены в скрипте? Также у вас включен поиск похожих новостей при просмотре полных новостей, а это тяжелый запрос, искать для каждой новости пять похожих из 60 000 других новостей и т.д.

[acelote 3]

В настройках скрипта в разделе оптимизации отключайте все неиспользуемые и ненужные функции.

Например в вашем листинге это запросы формирования архива и календаря, а на сайте их нет, вопрос зачем они тогда включены в скрипте? Также у вас включен поиск похожих новостей при просмотре полных новостей, а это тяжелый запрос, искать для каждой новости пять похожих из 60 000 других новостей и т.д.

можно вопрос: а уменьшится ли нагрузка, если уменьшить количество похожих новостей?

[celsoft 5 992]

можно вопрос: а уменьшится ли нагрузка, если уменьшить количество похожих новостей?

Нет, количество на нагрузку не влияет, влияет сам факт поиска.

[mitriy 5]

сервер надо просто нормально настроить и все. у меня на впс2 у мцхоста висел ДЛЕ с базой 280мегабайт и 25 тыс уников в сутки и с кучей сторонних модов.

[WWW.ZEOS.IN 1 161]

mitriy, какой процессор (мегагерц) был и сколько оперативки?

[Red Drag 18]

По поводу настроек сервера предлагаю открыть тему,в которой будем обсуждать настройки серверов

По поводу настроек сервера предлагаю открыть тему,в которой будем обсуждать настройки серверов

Если у тебя вот этот то что то я сомневаюсь...Хотя с правильными настройками...

Изменено 11 января 2010 пользователем Red Drag

[WWW.ZEOS.IN 1 161]

По поводу настроек сервера предлагаю открыть тему,в которой будем обсуждать настройки серверов

Да! Супер! Я за!!!

В тарифе VPS-2 CPU: 700 МГц | RAM: 384 Мб

Никогда не могу понять, одни говорят, что на таком и 1000 хостов в день это уже много будет , а другие говорят, что и 10.000 и летает, ничего не понимаю

[Red Drag 18]

По поводу настроек сервера предлагаю открыть тему,в которой будем обсуждать настройки серверов

Да! Супер! Я за!!!

В тарифе VPS-2 CPU: 700 МГц | RAM: 384 Мб

Никогда не могу понять, одни говорят, что на таком и 1000 хостов в день это уже много будет , а другие говорят, что и 10.000 и летает, ничего не понимаю

Ну раз за,тогда стоит создать такую тему!

Опять же как написал celsoft на сайте по поводу VPS:

vps для 120 000 новостей это мало, вы не один на своем сервере и делите свои ресурсы с другими. 2300 МГц это пик который вы можете получить при самых благоприятных условиях, если другие ваши соседи будут мало потреблять. А если на сервере находится несколько ресурсоемких проектов, то тормозить будут все. На вашем сайте даже если обратиться к несуществующей статической страницы сайт будет грузиться 10 секунд, что говорит не о нагрузке от скрипта, а то что ваш сервер просто перегружен и ждет пока появиться очередь для обработки запроса.

Изменено 11 января 2010 пользователем Red Drag

[pagemaster 1]

Согласен пора создать, а то многий сайты на дле уже превратились в огромные порталы с многотысячной аудиторией

[Red Drag 18]

Кто возьмется создавать?

Я могу но только настройка php на виртуальном и Windows VPS хостинге McHost.

И то,только "как настраивать" а не "оптимальные настройки".

Изменено 11 января 2010 пользователем Red Drag

[pagemaster 1]

Кто возьмется создавать?

Я могу но только настройка php на виртуальном и Windows VPS хостинге McHost.

И то,только "как настраивать" а не "оптимальные настройки".

Главное начать ,а там само собой всё пойдёт главное чтоб наш уважаемый целсофт прислушался к нам и создал раздел

[Red Drag 18]

Кто возьмется создавать?

Я могу но только настройка php на виртуальном и Windows VPS хостинге McHost.

И то,только "как настраивать" а не "оптимальные настройки".

Главное начать ,а там само собой всё пойдёт главное чтоб наш уважаемый целсофт прислушался к нам и создал раздел

Я думаю для этой темы прекрасно подойдет раздел "В помощь веб мастеру".

[mitriy 5]

тему создавать бесполезно.универсальных настроек нет и их надо поднастраивать постоянно под требования скриптов.

а так, да, тариф тот что я показал. nginx+php-fpm+xcache

правила реврайтов для nginx я кидал в закрытом разделе.

вообще параметры vps лучше подбирать исходя из того, что база данных у вас должна 1-1,5 раза помещаться в память, чтобы закешировалась и соответсвенно правильно настраивать акселераторы php.

[celsoft 5 992]

тему создавать бесполезно.универсальных настроек нет и их надо поднастраивать постоянно под требования скриптов.

Абсолютно верная и правильная мысль, универсальных настроек не существует, и более того их нужно постоянно менять под изменения сайтов. Следить за состоянием буферов в MySQL, сколько выделить под ключи, под буфер сортировки и т.д. и по мере роста производить перенастройку под новые условия и т.д. Тюнинг сервера это отдельная специальность и делается под конкретный проект при его текущем состоянии.

[mifkys 5]

в этой теме можно будет собрать необходимые ссылки на средства, которые помогут увеличить производительность. Мне для настройки своего дедика пришлось перелопатить пол-интернета, пока я не оттюнил свой сервак с иголочки. Да даже простые советы по отключению ненужных функций в админке, которые очень сильно грузят сервак, будут полезны. Я, например, до сегодняшнего дня даже и не думал, что выборка похожих новостей может ТАК СИЛЬНО вилять на нагрузку... После отключения этой функции нагрузка БД на проц упала с 70% до 4-5%.... Сайт теперь летает!

[celsoft 5 992]

Я, например, до сегодняшнего дня даже и не думал, что выборка похожих новостей может ТАК СИЛЬНО вилять на нагрузку

я всегда и всем это говорю. Да может быть это и полезная возможность, но она тяжелая, и требует много ресурсов.

Вообще я со временем хочу сделать в скрипте новый модуль который анализировал бы настройки скрипта и выводил рекомендации по снижению нагрузки и указаывал бы степень тяжелости той или иной возможности.

[WWW.ZEOS.IN 1 161]

Вообще я со временем хочу сделать в скрипте новый модуль который анализировал бы настройки скрипта и выводил рекомендации по снижению нагрузки и указаывал бы степень тяжелости той или иной возможности.

Это уже супер мега круто Класс

[Mek 99]

Может немного не в тему, но спрошу))

Одно время была идея разместить сайт на своём сервере. Возник такой вопросик- какой примерный конфиг железа ( CPU, RAM) и канал интернета нужен для нормальной работы сайта на DLE с 3000-5000 посещениями в день. Понимаю что ответить однозначно на этот вопрос сложно, но всё же, может у кого был такой опыт.

[mifkys 5]

с такими посещениями долго жили на http://www.hc.ru/ru/services/hosting/vps/ VPS2 и VPS3, но это с включенным модулем поиска похожих новостей без него и на VPS1 можно было бы сидеть

[BrillianMedia 8]

Подробная информация:

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

10322 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

10323 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

10325 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

10326 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

10327 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

10328 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

10329 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

14355 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

14356 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

14357 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

14359 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

14360 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

14361 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

14495 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18649 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18650 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18651 brillian 15 0 117m 10m 6100 S 0.0 0.3 0:00.04 /usr/bin/php

/home/brillian/public_html/engine/download.php

18652 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18653 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18654 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

18655 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

19789 brillian 15 0 117m 10m 6088 S 0.0 0.3 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

22297 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

22298 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

22301 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php

22303 brillian 16 0 117m 9616 5536 S 0.0 0.2 0:00.03 /usr/bin/php

/home/brillian/public_html/engine/download.php

22304 brillian 16 0 117m 9620 5536 S 0.0 0.2 0:00.02 /usr/bin/php

/home/brillian/public_html/engine/download.php