Надо грамотно составить Robots.txt

[lepota 3]

Помогите грамотно составить файл Robots.txt. Нет индексации в яндексе

Вот мой Robots.txt

User-Agent: *

Allow: /

htp://klondak.ru/

htp://klondak.ru/futaj/

htp://klondak.ru/klipart/

htp://klondak.ru/shablon/

htp://klondak.ru/after/

htp://klondak.ru/photoshop/

htp://klondak.ru/3d/

htp://klondak.ru/soft/

htp://klondak.ru/oboi/

htp://klondak.ru/myzik/

htp://klondak.ru/muzika/

htp://klondak.ru/kino/

htp://klondak.ru/dokym/

htp://klondak.ru/mobil/

htp://klondak.ru/igra/

htp://klondak.ru/master/

htp://klondak.ru/baza/

User-agent: Yandex

Allow: /

Sitemap: htp://klondak.ru/sitemap.xml

(одну букву t убрал специально в файле она есть)

Что тут может быть нетак?

Изменено 7 января 2010 пользователем lepota

[МASTER 11]

Правильный robots.txt:

User-agent: *

Disallow:


User-agent: Yandex

Disallow:

Sitemap: htp://my-site.ru/sitemap.xml

Host: my-site.ru

Читать обязательно - http://help.yandex.ru/webmaster/?id=996567

Изменено 7 января 2010 пользователем МASTER

[Creocreo 18]

кто вам сказал, что нет индексации?

_http://yandex.ru/yandsearch?surl=klondak.ru

в индексе 966 страниц

Изменено 7 января 2010 пользователем Creocreo

[lepota 3]

Но ведь 'Allow'разрешает доступ, а Disallow блокирует доступ

Ничего непойму действительно есть индексация. А вот в ЯНДЕКСЕ вебмастер → мои сайты

Индексирование сайта

Настройка индексирования

Поисковые запросы

Сайт в результатах поиска

ВЕЗДЕ НАПИСАНО Ваш сайт не проиндексирован Яндексом.

пОЧЕМУ ТАК ПРОИСХОДИТ СТРАННО!

[prikindel 255]

наличие роботс.тут не гарантирует , что пс зайдет и все проиндексирует

может сайт новый, и пс еще не успел обойти

может быть забанен и тогда роботс ваще никоим боком не поможет

[lepota 3]

наличие роботс.тут не гарантирует , что пс зайдет и все проиндексирует

может сайт новый, и пс еще не успел обойти

может быть забанен и тогда роботс ваще никоим боком не поможет

Я ТОТ ДОМЕН ТОЛЬКО ЗАРЕГИСТРИРОВАЛ НЕМОГЛИ ЗАБАНИТЬ

[prikindel 255]

Я ТОТ ДОМЕН ТОЛЬКО ЗАРЕГИСТРИРОВАЛ НЕМОГЛИ ЗАБАНИТЬ

ну ты сам и ответил на свой вопрос

ты чо думаешь только купил домен и он сразу проиндексируется ?

потерпи немного, поставь больше ссылок на сайт

и все будет

и нефиг тут капсом писать, это вульгарно

[МASTER 11]

Но ведь 'Allow'разрешает доступ, а Disallow блокирует доступ

Вот именно. Если ничего запрещать не надо, то нужно ставить пустой Disallow. Allow используют как исключение, когда применяется Disallow.

Каждая строка в robots.txt должна начинаться с определенной директивы.

пОЧЕМУ ТАК ПРОИСХОДИТ СТРАННО!

Потому что Я.вебмастер обновляется по-своему.

[lepota 3]

В яндексе Анализ robots.txt

7: Host: htp://klondak.ru/ Некорректное имя главного зеркала сайта

Почему и как правильно?

Изменено 8 января 2010 пользователем lepota

[МASTER 11]

Я же написал как правильно + дал ссылку, где написано как правильно делать..

[Red Drag 18]

Вот мой robots.txt

User-agent: *

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /languages/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user/

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword


Host: www.твой сайт.ру

Sitemap: http://твой сайт.ру/sitemap.xml

Индексируется норм!

[МASTER 11]

Red Drag,

Закрывать папки со скриптами зачем? Боты скрипты не индексируют. После Disallow пустая строка не к чему. Директива Host используется только Яндексом, поэтому её нужно указывать в секции только для Яндекса.

[acelote 3]

Disallow: /*print

а зачем это? в самом движке в настройках можно указывать, индексировать или нет версии для печати.

Disallow: /autobackup.php

а этот файл вообще рекомендуется переименовывать, и не за чем его указывать в роботсе. Этим вы показываете всем, какое имя у этого файла. Вы бы еще admin.php переименовали бы и выложили в роботсе.))

По мне, так и не надо закрывать всякие lostpassword , newposts и тому подобное. Это не принципиально, ИМХО. На фоне тысяч страниц ЭТИ погоды не сделают. У меня самого они закрыты, если честно, но сейчас понимаю, что это делать не обязательно.

Могу посоветовать тебе добавить crawl-delay, чтобы роботы нагрузку не дали. Поставь 15, спокойно хватит для работы. И еще могу посоветовать (но это потом, когда сайт более менее проиндексируется) просмотреть, какие ссылки дают ошибки, и исправить их, или же закрыть для робота.

А для того, чтобы яндекс нормально проиндексировал ваш сайт, расположите ссылки на ваш ресурс на сторонних ресурсах. Я бы посоветовал живой журнал и другие популярные блоги. И то, яндекс не сразу индексирует сайт, ему нужно время, чтобы "подготовится", в отличии от гугла, который начинает индексацию сразу.

[lepota 3]

тЕПЕРЬ У МЕНЯ ОН ВЫГЛЯДИТ ТАК

User-agent: *

Disallow:

User-agent: Yandex

Disallow: /autobackup.php

Disallow: /user

Disallow:

Sitemap: htp://klondak.ru/sitemap.xml

Host: http://www.klondak.ru

чТО СКАЖУТ СПЕЦИАЛИСТЫ?

Изменено 8 января 2010 пользователем lepota

[celsoft 5 995]

Disallow: /autobackup.php

можете выкинуть. поисковики индексируют только те ссылки которые есть на странице, а не что то придумывают свое, поэтому адрему они и так никогда не пойдут.

User-agent: Yandex

тоже непонятно почему только для яндекса вы запрещаете индексацию /user для гугля что ли не надо? Также sitemap, тоже гуглю нужен. Правильнее в таком случае просто

User-agent: *

Disallow: /user

Sitemap: htp://klondak.ru/sitemap.xml

Host: http://www.klondak.ru

[МASTER 11]

Жесть

User-agent: *

Disallow: /user*

Sitemap: htp://my-site.ru/sitemap.xml


User-agent: Yandex

Disallow: /user*

Sitemap: htp://my-site.ru/sitemap.xml

Host: my-site.ru

[Red Drag 18]

Так правильнее???

User-agent: *

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /languages/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword


User-agent: Yandex

Host: www.connect-nokia.ru

Sitemap: http://connect-nokia.ru/sitemap.xml

Или лучше так

User-agent: *

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /languages/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Sitemap: http://connect-nokia.ru/sitemap.xml


User-agent: Yandex

Host: www.connect-nokia.ru

Sitemap: http://connect-nokia.ru/sitemap.xml

Разница в том что Sitemap: http://connect-nokia.ru/sitemap.xml не только для яндекса.

Изменено 8 января 2010 пользователем Red Drag

[МASTER 11]

Я шоке

Red Drag, тебе такой:

User-agent: *

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user*

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Sitemap: http://connect-nokia.ru/sitemap.xml


User-agent: Yandex

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user*

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Sitemap: http://connect-nokia.ru/sitemap.xml

Host: www.connect-nokia.ru

Изменено 8 января 2010 пользователем МASTER

[Red Drag 18]

В итоге сделал:

User-agent: *

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /languages/

Disallow: /addnews.html

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /favorites/

Disallow: /user/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=search

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword


Host: www.connect-nokia.ru

Sitemap: http://connect-nokia.ru/sitemap.xml

Прочитал что гуглу безразлично наличие "Host" и отделять необязательно

[МASTER 11]

Три раза написал правильный robots.txt. ухожу отсюда.

Помню на серче был юзер, который этот robots.txt сделал весом под 50 клб

Изменено 8 января 2010 пользователем МASTER

[Captain 617]

Прочитал что гуглу безразлично наличие "Host" и отделять необязательно

В гугле в панели веб-мастера добавляется

[BMWshka 0]

а у меня по адресу Sitemap: http://сайт/sitemap.xml не чего нету )

Или я че то не догоняю?

[Dj Dance 185]

а у меня по адресу Sitemap: http://сайт/sitemap.xml не чего нету )

Или я че то не догоняю?

Скорее всего у вас не создана карта сайта.

Зайдите в раздел Карта сайта для Google и Yandex Админцентра и посмотрите не ли там такой строки - Файл индекса для Google Sitemap ранее еще не создавался. Если есть, нажмите "Создать / Обновить файл карты сайта"

[igaiga3 0]

Если не изменять файл роботс с данными по умолчанию:

такой изначальный вид файла

User-Agent: *

Disallow: /_private/

User-agent: Yandex

Disallow: /_private/

будет ли нормально проходить работа роботов поисковиков?

и что значит private?

Изменено 1 января 2011 пользователем igaiga3

[zgr 72]

будет ли нормально проходить работа роботов поисковиков?

Да, но с таким роботсом (пустым) весь мусор проиндексируется, а основной сайт может вылететь, как дубль.

что значит private?

Какая-то папка или файл на ФТП. Нужно указать все папки, за исключением картинок, иначе и сами файлы движка проиндексируются и весь ваш сайт будет виден всем снаружи, т.е. я смогу видеть все ваши коды, знать расположение папок и т.д.

----

В самом конце файла обычно пустой оставляют дизалоу, который разрешает всё, что не перечислено выше:

Disallow:

Изменено 1 января 2011 пользователем zgr