[Ускорение загрузки главной и категорий на сайте с 10 млн новостей]

Как и обещал пишу, что получилось. Теперь все страницы открываются очень быстро, несмотря на мой калькулятор. Нужно было внести правки в файл show.short.php и engine.php

В show.short.php отключить подсчет количества новостей ($count_all). А в engine.php нужно было убрать сортировку из запроса к базе (ORDER BY)

[Ускорение загрузки главной и категорий на сайте с 10 млн новостей]

2 часа назад, celsoft сказал:

Для 10 млн публикаций не то что о мощном отдельном тщательно оттюнингованном в плане серверных настроек нужно задумываться нужно, а возможно даже о кластере

В этом и загвоздка, что на мощный сервер жалко тратить деньги. Вот у соседа моего нормально работает сайт с 8-9 миллионами новостей на слабеньком VDS. Как он это все настроил естественно не говорит. Обратил внимание, что в таблице dle_post у него нет столбца allow_main (do=stats выдает ошибку). Еще он использует кеширование, от Cloudflare вроде

Уже писал, напишу еще раз, что страницы новостей (10 млн) и комментарии (15 млн) к ним подгружаются быстро, в отличии от Wordpress, Joomla, Processwire и др., перепробовал практически всё за 2 года. В этом есть очень большой успех 👍

Я же в верном направлении иду? Пагинацию заменил на ajax подгрузку, чтобы мой калькулятор не считал кол-во страниц. Убрал из запроса ORDER BY и главная загрузилась, уже лучше, но грузилась секунд 20. Еще напишу здесь, что в итоге получилось. Мне на главной и в категориях пока не так важно, как сортировать, главное чтобы хоть что-то было

[Ускорение загрузки главной и категорий на сайте с 10 млн новостей]

4 минуты назад, celsoft сказал:

Чтобы не править файлы скрипта, нужно изучить настройки скрипта, благо все что касается быстродействия выведено в отдельную вкладку и отключить ненужное. Например публикацию на будущее время, и это уберет из запросов доп параметр даты и т.д.

Естественно все отключено по максимуму, но страницы категорий и главная не загружаются с ошибкой Internal Server Error

Попробую в базе allow_main 1 оставить только у пары сотен новостей и убрать из запроса сортировку

Как я понял, другого решения нет. Ни одна CMS не справляется с таким объемом. DLE единственная может быстро открывать страницы постов, только нужно разобраться с главной и категориями

[Ускорение загрузки главной и категорий на сайте с 10 млн новостей]

На сайте 10 млн новостей. Одна новость и комментарии к ней загружается быстро, но главная, страница категорий и редактирование новостей в админке не загружаются

Вопрос, как ускорить загрузку? В каких файлах нужно сделать изменения?

Как я понял, проблема в запросе SELECT COUNT, который и тормозит загрузку из-за большой БД

В коде попробовал отключить подсчет новостей, поставив значение 300, но проблема осталась. Категории стали загружаться долго, но главная так и не открывается

Вот этот код в файле show.short.php

$count_all = $db->super_query( $sql_count );
		
		if($news_found AND !$count_all['count']) {
			$db->query("ANALYZE TABLE `" . PREFIX . "_post`, `" . PREFIX . "_post_extras`");
			$count_all = $db->super_query( $sql_count );
		}
		
		$count_all = $count_all['count'];

Менял на этот:

	//	$count_all = $db->super_query( $sql_count );
		
		if($news_found AND !$count_all['count']) {
		//	$db->query("ANALYZE TABLE `" . PREFIX . "_post`, `" . PREFIX . "_post_extras`");
		//	$count_all = $db->super_query( $sql_count );
		}
		
	//	$count_all = $count_all['count'];
		$count_all = 300;

Этим изменением удалось добиться загрузки страниц категорий

Также я заменил пагинацию на ajax подгрузку

Может стоит еще смотреть в сторону allow_main?

VDS у меня 2 ядра, 4 ГБ памяти

[8 миллионов постов на сайте]

55 минут назад, kamensk сказал:

База у него сколько гигов весит и сайтос на чем размещен?

А как узнать? index.php?do=stats выдает ошибку

MySQL error in file: /engine/modules/stats.php at line 51
Error Number: 1054
The Error returned was:
Unknown column 'allow_main' in 'where clause'
SQL query:

SELECT COUNT(*) as count FROM zn_post WHERE allow_main ='1' AND approve ='1'

На чем сайт размещен это хостинг какой? Thehost ua

[8 миллионов постов на сайте]

9 часов назад, kamensk сказал:

пример в студию.

Очень сильно сомневаюсь, что с  таким количеством статей сайты существуют.

Это сайт, который парсит и размещает у себя вопросы и ответы с Большой вопрос, Ответы Mail.ru и т.д.

1 час назад, Mr. Bot сказал:

Очень сильно зависит от типа контента и аудитории.

По виду это слегка модифицированный DLE. В H1 размещается вопрос, а ответы к ним добавляются из формы комментариев

Цитата

без правок движка ты бы и на главную не зашел

ну разве так через минут 5

Кеширование включено, страницы загружаются моментально

Цитата

Это как надо новости добавлять, что бы 8 млн новостей было? Если даже каждую минуту по новости добавлять, то более 15 лет понадобится. Хорошо, две новости в минуту. Более 7.5 лет. Боюсь представить...

Контент парсит с других сайтов. 5-6 миллионов примерно за год получилось у него

[8 миллионов постов на сайте]

Получится ли добавить 8 миллионов постов на сайт?

Какие требования к серверу?

Видел сайт на DLE с 9-10 миллионами страниц, все работало быстро. Какие-то изменения нужно вносить в код для этого?