проблемы с БД ?

[mistersky 0]

Сайт: warezplatinum.com

Вес БД 1.3 Гб

Записей постов 250000.

Вот такие процессы возникают и очень много (до 50 штук):

SELECT id, autor, date, short_story, full_story, xfields, title, category, alt_name, comm_num, allow_comm, allow_rate, rating, vote_num, news_read, flag, editdate, editor, reason, view_edit, tags FROM dle_post WHERE category IN ('1','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20','21','22') AND approve ORDER BY fixed desc, date DESC LIMIT 0,17

SELECT DATE_FORMAT(date,'%b %Y') AS m_date, COUNT(*) AS cnt FROM dle_post WHERE approve GROUP BY m_date ORDER BY date desc

SELECT id, autor, date, short_story, full_story, xfields, title, category, alt_name, comm_num, allow_comm, allow_rate, rating, vote_num, news_read, flag, editdate, editor, reason, view_edit, tags FROM dle_post WHERE category IN ('1','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20','21','22') AND approve ORDER BY fixed desc, date DESC LIMIT 0,9

SELECT id, autor, date, short_story, SUBSTRING(full_story, 1, 15) as full_story, xfields, title, category, alt_name, comm_num, allow_comm, allow_rate, fixed, rating, vote_num, news_read, flag, editdate, editor, reason, view_edit, tags FROM dle_post WHERE approve AND allow_main ORDER BY fixed desc, date DESC LIMIT 83865,15

сайт падает в 504 ошибку.

С чем это связано, помогите люди добрые.

Изменено 27 июля 2010 пользователем mistersky

[mistersky 0]

еще замечено - процессы со стаусом:

Sorting result

грузят сервер БД на 380%... WCPU... и ложат все сайты в 504 и 502...

неужто некто не поможет оптимизировать это дело и не подскажет как быть ?

[zgr 72]

1. За "спасибо" вряд ли - слишком сложно и долго копаться.

2. Запросы кривые (неправильные, в каждом по несколько ошибок) к тому же неясно для чего они? - например, зачем нужна короткая и полная новость в запросе? Что этими запросами делается вообще, их смысл?

[mistersky 0]

1. За "спасибо" вряд ли - слишком сложно и долго копаться.

2. Запросы кривые (неправильные, в каждом по несколько ошибок) к тому же неясно для чего они? - например, зачем нужна короткая и полная новость в запросе? Что этими запросами делается вообще, их смысл?

Тоже самое хочу спросить ! разработчики ау ?

откуда эти запросы, если я не модернизировал скрипт и взял лицензию чистую...

Скрипты чистые, модулей нет...

Стоит сделать прямой запрос в саппорт - если спасибо - мало ?

Изменено 29 июля 2010 пользователем mistersky

[zgr 72]

Тоже самое хочу спросить ! разработчики ау ?

откуда эти запросы, если я не модернизировал скрипт и взял лицензию чистую...

Скрипты чистые, модулей нет...

Стоит сделать прямой запрос в саппорт - если спасибо - мало ?

Если никаких фич не ставили, то лучше Целсофту пишите с офф.сайта, хозяин своего творения лучше всего знает, что и где натворил Сам я никогда таких запросов не видел в примерах и никогда так не делал и понятия не имею, где эти запросы вообще могут быть, в какой части скрипта - очень долго копать. А простые вопросы - конечно же хватит и простого тёплого "спасибо".

Может, кто-то сталкивался с подобными объемами - не знаю, попробуйте у "ИТ-специалиста" спросить, он здесь АПИ пишет, может, подскажет, если знает или у "Зеоса".

П.С. на сайт зашел - нормально загрузился, хоть и долго очень.

П.П.С. Вашу БД можно попробовать разбить на несколько маленьких... ну, например, несколько категорий отдельно сделать, может, просто памяти не хватает для выборки, вот и выдает скрипт "504 - тайм аут" - сервер подвис.

[mistersky 0]

Спасибо и на этом, но на серваке 3 Гб озу и интел квад 2.4 ГГц, из которых в пике 1500 мб озу хавает мускуль (когда 400% WCPU).

Придется ждать 8 числа, ибо люди отдыхают.

Судя местами по запросам, кто-то активно добавляет новости на сайт и мускуль ими давится...

[zgr 72]

Спасибо и на этом, но на серваке 3 Гб озу и интел квад 2.4 ГГц, из которых в пике 1500 мб озу хавает мускуль (когда 400% WCPU).

Придется ждать 8 числа, ибо люди отдыхают.

Судя местами по запросам, кто-то активно добавляет новости на сайт и мускуль ими давится...

хороший севак. Но... В шаблоне стоит какое-то меню, которое едва ли выводится за счет движка, хотя, может, и так (я еще не весь движок изучил). Сколько всего идет запросов при загрузке (если более 30, то это уже многовато для "тяжелого" сайта)? Есть ли в шаблоне php-код (по умолчанию он не поддерживается, но некоторые умельцы его всё же включают)?

Запросы, которые процитировали на "чтение", а не "запись", иначе начинались бы "INSERT...". У меня 128мб, хотя нужно не более 16, тем не менее постоянно подвисает, полагаю, много клиентов на сервере - не успевает всех обсчитать и тоже вылетает ошибка 504 частенько. Не думаю, что это повод для паники, сайт грузится нормально.

[kpravda 102]

Попробуйте оптимизировать запрос, например, не брать shortstory и fullstory сразу, зачем это? И пр.

[mistersky 0]

Как вариант, если это чтение... - граббинг rss ленты ?

[kpravda 102]

Отредактируйте вывод RSS. Выдавайте короткую новость как за короткую, так и за полную. Плюс в RSS можно не выбирать автора новости, и т.п., смотрите по запросу, и думайте нужно ли это, и исправляйте конечно же, одновременно PHP Файлы скрипта.

[zgr 72]

Помимо РСС это может быть также и рассылка или еще чего, ведь подвисает не всегда, а временами. Да и если нормально оптимизировать запросы, то работы там придостаточно... Как вариант, можно проследить 2 версии:

1. Брать всю таблицу целиком - SELECT (*);

2. Брать таблицу выборочно, но делая кучу проверок, которых здесь нет, например, одобренно или нет, есть ли комментарии или нет и т.д. и т.п., полагаю, что выйдет во втором варианте в 2 раза меньше "пустоты", что потребует и меньше памяти, и быстрее сработает, но не факт, иногда чёхом быстрей

3. Ну и привести запросы в порядок нужно, часть запросов скорее всего даже и не работают вовсе, но при этом и ошибок не выдают... что впустую просто тратится время сервера, его память и ЦПУ. Думаю, гига вполне бы хватило с головой, если всё грамотно прописать.

[IT-Security 33]

Кэширование включено?

[IT-Security 33]

SELECT id, autor, date, short_story, full_story, xfields, title, category, alt_name, comm_num, allow_comm, allow_rate, rating, vote_num, news_read, flag, editdate, editor, reason, view_edit, tags FROM dle_post WHERE category IN ('1','3','4','5','6','7','8','9',' 10','11','12','13','14','15','16','17',' 18','19','20','21','22') AND approve ORDER BY fixed desc, date DESC LIMIT 0,9

Используете тэг custom на страницах?Видимо с выключенным кэшированием.

[mistersky 0]

Кэширование включено?

{custom category="2,3,4,5,6,7,8,9" template="news_top" aviable="global" from="0" limit="9" cache="no"}

видимо да,

поменял на yes... попробуем проверить..

Изменено 30 июля 2010 пользователем mistersky

[mistersky 0]

Кэширование включено?

{custom category="2,3,4,5,6,7,8,9" template="news_top" aviable="global" from="0" limit="9" cache="no"}

видимо да,

поменял на yes... попробуем проверить..

удалил нафиг этот тег, буду наблюдать...

[mistersky 0]

Кэширование включено?

{custom category="2,3,4,5,6,7,8,9" template="news_top" aviable="global" from="0" limit="9" cache="no"}

видимо да,

поменял на yes... попробуем проверить..

удалил нафиг этот тег, буду наблюдать...

ну вроде попустило...

когда выставил в custom -кеш вкл - сервак БД лег, и схавал 2500 Мб озу...

Изменено 30 июля 2010 пользователем mistersky

[IT-Security 33]

cache в custom должен быть включен + кэширование в движке должно быть включено и всё будет ОК.