Сайт не индексируется Яндексом, что делать?

[bestprogs.ru 0]

Моему домену Bestprogs.ru уже идет второй год. По-началу сайт был статический и делал я его в Сайткрафте (есть такой конструктор для начинающих), затем один знакомый создал мне сайт на движке DLE (крякнутый скрипт). Почти полгода я выкладывал новости и программы, их количесво было 500-600, посещаемость от 80 до 150 человек в день. Затем я решил купить лицензию на скрипт и по совету другого знакомого удалил все старые новости и создал сайт с нуля. Сейчас в Яндексе у меня 2211 ошибок, в основном это исчезнувшие страницы с программами и новостями. Единственно что мне удалось - это удалить одну директорию из поиска Яндекса со старым форумом, остальные форма по удалению в Яндексе сообщает, что URL не проиндексировано... А ошибки есть... В файле robots.txt прописал для запрета индексации самые основные исчезнувшие директории, но ошибок не становится меньше. Как их количество свести к минимуму? Не буду же я прописывать в файле robots.txt все 2211 адресов, которые исчезли с моего сайта - это же бред. Вот текст robots.txt с запретом индексации основных директорий моего сайта:

User-agent: *

Disallow: /2008/

Disallow: /2009/01/

Disallow: /2009/02/

Disallow: /2009/03/

Disallow: /forum/

Disallow: /it-novosti/

Allow: /

Sitemap: http://www.bestprogs.ru/sitemap.xml

User-agent: Yandex

Disallow: /2008/

Disallow: /2009/01/

Disallow: /2009/02/

Disallow: /2009/03/

Disallow: /forum/

Disallow: /it-novosti/

Allow: /

Sitemap: http://www.bestprogs.ru/sitemap.xml

User-agent: Googlebot

Disallow: /2008/

Disallow: /2009/01/

Disallow: /2009/02/

Disallow: /2009/03/

Disallow: /forum/

Disallow: /it-novosti/

Allow: /

Sitemap: http://www.bestprogs.ru/sitemap.xml

Сейчас посещаемость моего сайта резко упала всвязи с плохой индексацией моего сайта. Из одного источника я узнал что на мой сайт никто не приходит из поисковиков... как угодно но не из них. Что мне делать? Может создать другой домен и перенести сайт туда? И можно ли в этом случае перенести базу с новостями и программами на другой домен?

[Captain 623]

* - это все!

User-agent: Yandex и User-agent: Googlebot это лишнее при *

01/02/03/ тоже лишнее, достаточно Disallow: /2009/

http://help.yandex.ru/webmaster/?id=996567

На ошибки забей.

[bestprogs.ru 0]

01/02/03/ тоже лишнее, достаточно Disallow: /2009/

Думаю не лишнее так как в данный момент у меня существует такая директория начиная с апреля месяца. Если я запрещу всю категорию /2009/ то скорее всего новые новости индексироваться не будут

[lifestar 18]

bestprogs, Зачем старые новости то удалил?

[bestprogs.ru 0]

Александр Медведев,

Я сам не совсем силён в сайтостроении, а один вебмастер мне сказал что перейти на лицензионный движок с сохранением базы новостей невозможно, вот я и удалил все новости.

Изменено 7 июня 2009 пользователем bestprogs

[WMDrakon 20]

bestprogs,

доверяй, но проверяй :)

попробуйте восстановить базу из резерва хоста.

[Captain 623]

Какой смысл архив запрещать? Яше на это дело по барабану, он склеит, а вы трафик (хоть и небольшой) теряете.

Изменено 7 июня 2009 пользователем Captain

[bestprogs.ru 0]

Какой смысл архив запрещать?

О каком архиве вы говорите?

[veb74 10]

На этот вопрос мне ответили:

Какое-то время робот еще хранит информацию о страницах, на которых были

найдены ошибки. Со временем страницы с ошибкой 404 автоматически удаляются из

раздела ошибок, если на них не указаны ссылки. Ускорить процесс можно запретив

индексирование страниц с ошибками в файле robots.txt -

я не настраивал, со временем думаю уладится.

Гугль уже достаточно проиндексировал, но не на столько, чтобы подключать скрипт поиска через сайт, там ещё старья много.

Когда же они они очистятся, это другой вопрос. Время.

[inokentik 45]

Так ты своими руками поисковику все закрыл: Disallow: /2008/, 2008 года нет...

Ты закрыл форум и ты закрыл новости, а чего т хотел чтобы яндекс или кто другой тогда увидел на твоем сайте? Удалил и черт с ними, поисковик сам пймет что документов нет старых...

[bestprogs.ru 0]

Так ты своими руками поисковику все закрыл: Disallow: /2008/, 2008 года нет...

Ты закрыл форум и ты закрыл новости, а чего т хотел чтобы яндекс или кто другой тогда увидел на твоем сайте? Удалил и черт с ними, поисковик сам пймет что документов нет старых...

Ясно, щас поправлю

[IT-Security 33]

Веб-мастер баран...Обращайтесь к нормальным фрилансерам...

Я могу даже с мёртвым сайтом и фиговой тучей левых модулей базу преобразовать в нормальную лицензионную..

Работы на 30 минут...Если найдёте бакап - могу попробовать вернуть новости...Правда если Вы с нуля ставили лицензию, то это может оказаться трудным, так как возможны пересечения ID и т.п....

Вообщем если нужен контент, который был, то обращайтесь...

[bestprogs.ru 0]

Да я уже попрощался со старой базой, щас создаю новую, ещё лучше чем была. Как я понял на ошибки не стоит обращать внимания, надеюсь сами исчезнут...

А robots.txt я переписал на:

User-agent: *

Allow: /

Sitemap: http://www.bestprogs.ru/sitemap.xml

[inokentik 45]

User-Agent: *

Host: bestprogs.ru

вот этого предостаточно, незачем еще чего то мудрить, хотя DLE итак хорош и нормально индексируется. У меня вообще этого файла не было и его изначально нет в системе и все прекрасно. Сделал уж так. на всякий пожарный случай, и то по моему не понадобится...