В Индексе Гугла материалы за 1668 год! - Прошу помочь

[Sorus_Nomad 0]

Здравствуйте форумчане!

Сегодня чисто случайно заметил, что в выдаче Гугла присутствуют страницы, которых в теории быть не должно.

Дело в том, что там находятся страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!

Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).

Образовалась ситуация, когда из 6,340 страниц сайта (всего на ресурсе 100 материалов!) не под фильтрами только 3%.

Какие могут быть варианты исправления?

Все что приходит на ум (не судите строго) - это пропись в Robots.txt

Disallow: /*11

Disallow: /*12

Disallow: /*1

Disallow: /*2

Но на сайте есть урлы типа сайт.ру/12-название-статьи... - такие статье ведь тогда тоже выпадут из индекса...

Также в выдаче полно страниц вида сайт.ру/lastnews/page/8/ и сайт.ру/page/...

Буду очень признателен за экспертное мнение! Заранее спасибо!

Изменено 7 апреля 2015 пользователем Sorus_Nomad

[Captain 617]

Бесплатный хак:

Запрет индексации с помощью <meta name="robots" content="noindex,nofollow" />

Тоже самое модулем, платно:

DonBot — модуль настройки индексации сайта на DLE

Изменено 8 апреля 2015 пользователем Captain

[Sorus_Nomad 0]

На сколько я понимаю, первый и второй способ аналогичны?

[odys 384]

Sorus_Nomad, да, но я пользуюсь первым, не доверяю я модулям всяким

[Sorus_Nomad 0]

не доверяю я модулям всяким

Вот и я о том же...

Причина вроде понятна - там календарб хоть до начала нашей еры может выдавать даты - а поисковик "хавает" все...

<a class="monthlink" onclick="doCalendar('10','2014','right'); return false;" href="http://======.ru/2014/10/" title="Предыдущий месяц">«</a>

Поскольку я не силен в этом всем, сделал следующее: - main.tpl

<div class="span4 ">

				  <noindex>{calendar}</noindex>

			   </div>

- в /engine/engine.ph

if (

    $do == 'addnews' OR /* Страница добавления новости с сайта */

    $do == 'alltags' OR /* Страница просмотра списка тегов */

    $do == 'feedback' OR /* Страница формы обратной связи */

    $do == 'favorites' OR /* Страницы закладок пользователей */

    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */

    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */

    $do == 'lostpassword' OR /* Страница восстановления пароля */

    $do == 'pm' OR /* Страницы личных сообщений пользователей */

    $do == 'register' OR /* Страница регистрации нового пользователя */

    //$do == 'rules' OR /* Страница правил сайта */

    $do == 'stats' OR /* Страница статистики сайта */

    $do == 'search' OR /* Страница поиска и результатов поиска */

    //$do == 'static' OR /* Все статические страницы */

    $do == 'tags' OR /* Просмотр новостей по тегу */

    $do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */

    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */

    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */

    //$subaction == 'showfull' OR /* Просмотр полной новости */

    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */

    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */

    ($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */

    ($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */

    ($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */

    (intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */

    ($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */

    ($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */

    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */

    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */

    $catalog != '' /* Просмотр каталога по буквенному идентификатору */

    ) $metatags .= <<<HTML

\n<meta name="robots" content="noindex,nofollow" />

HTML;

Если я все правильно понял - должно помочь. Где искать причину такого "явления" - понятия нималейшого не имею...