lepota 3 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Помогите грамотно составить файл Robots.txt. Нет индексации в яндексе Вот мой Robots.txt User-Agent: * Allow: / htp://klondak.ru/ htp://klondak.ru/futaj/ htp://klondak.ru/klipart/ htp://klondak.ru/shablon/ htp://klondak.ru/after/ htp://klondak.ru/photoshop/ htp://klondak.ru/3d/ htp://klondak.ru/soft/ htp://klondak.ru/oboi/ htp://klondak.ru/myzik/ htp://klondak.ru/muzika/ htp://klondak.ru/kino/ htp://klondak.ru/dokym/ htp://klondak.ru/mobil/ htp://klondak.ru/igra/ htp://klondak.ru/master/ htp://klondak.ru/baza/ User-agent: Yandex Allow: / Sitemap: htp://klondak.ru/sitemap.xml (одну букву t убрал специально в файле она есть) Что тут может быть нетак? Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Правильный robots.txt: User-agent: * Disallow: User-agent: Yandex Disallow: Sitemap: htp://my-site.ru/sitemap.xml Host: my-site.ru Читать обязательно - http://help.yandex.ru/webmaster/?id=996567 Ссылка на сообщение Поделиться на других сайтах
Creocreo 18 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 кто вам сказал, что нет индексации? _http://yandex.ru/yandsearch?surl=klondak.ru в индексе 966 страниц Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Автор Но ведь 'Allow'разрешает доступ, а Disallow блокирует доступНичего непойму действительно есть индексация. А вот в ЯНДЕКСЕ вебмастер → мои сайты Индексирование сайта Настройка индексирования Поисковые запросы Сайт в результатах поиска ВЕЗДЕ НАПИСАНО Ваш сайт не проиндексирован Яндексом. пОЧЕМУ ТАК ПРОИСХОДИТ СТРАННО! Ссылка на сообщение Поделиться на других сайтах
prikindel 255 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 наличие роботс.тут не гарантирует , что пс зайдет и все проиндексирует может сайт новый, и пс еще не успел обойти может быть забанен и тогда роботс ваще никоим боком не поможет Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Автор наличие роботс.тут не гарантирует , что пс зайдет и все проиндексирует может сайт новый, и пс еще не успел обойти может быть забанен и тогда роботс ваще никоим боком не поможет Я ТОТ ДОМЕН ТОЛЬКО ЗАРЕГИСТРИРОВАЛ НЕМОГЛИ ЗАБАНИТЬ Ссылка на сообщение Поделиться на других сайтах
prikindel 255 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Я ТОТ ДОМЕН ТОЛЬКО ЗАРЕГИСТРИРОВАЛ НЕМОГЛИ ЗАБАНИТЬ ну ты сам и ответил на свой вопрос ты чо думаешь только купил домен и он сразу проиндексируется ? потерпи немного, поставь больше ссылок на сайт и все будети нефиг тут капсом писать, это вульгарно Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 7 января 2010 Рассказать Опубликовано: 7 января 2010 Но ведь 'Allow'разрешает доступ, а Disallow блокирует доступ Вот именно. Если ничего запрещать не надо, то нужно ставить пустой Disallow. Allow используют как исключение, когда применяется Disallow. Каждая строка в robots.txt должна начинаться с определенной директивы. пОЧЕМУ ТАК ПРОИСХОДИТ СТРАННО! Потому что Я.вебмастер обновляется по-своему. Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Автор В яндексе Анализ robots.txt 7: Host: htp://klondak.ru/ Некорректное имя главного зеркала сайта Почему и как правильно? Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Я же написал как правильно + дал ссылку, где написано как правильно делать.. Ссылка на сообщение Поделиться на других сайтах
Red Drag 18 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Вот мой robots.txt User-agent: * Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /languages/ Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Host: www.твой сайт.ру Sitemap: http://твой сайт.ру/sitemap.xml Индексируется норм! Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Red Drag, Закрывать папки со скриптами зачем? Боты скрипты не индексируют. После Disallow пустая строка не к чему. Директива Host используется только Яндексом, поэтому её нужно указывать в секции только для Яндекса. Ссылка на сообщение Поделиться на других сайтах
acelote 3 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Disallow: /*print а зачем это? в самом движке в настройках можно указывать, индексировать или нет версии для печати.Disallow: /autobackup.php а этот файл вообще рекомендуется переименовывать, и не за чем его указывать в роботсе. Этим вы показываете всем, какое имя у этого файла. Вы бы еще admin.php переименовали бы и выложили в роботсе.)) По мне, так и не надо закрывать всякие lostpassword , newposts и тому подобное. Это не принципиально, ИМХО. На фоне тысяч страниц ЭТИ погоды не сделают. У меня самого они закрыты, если честно, но сейчас понимаю, что это делать не обязательно. Могу посоветовать тебе добавить crawl-delay, чтобы роботы нагрузку не дали. Поставь 15, спокойно хватит для работы. И еще могу посоветовать (но это потом, когда сайт более менее проиндексируется) просмотреть, какие ссылки дают ошибки, и исправить их, или же закрыть для робота. А для того, чтобы яндекс нормально проиндексировал ваш сайт, расположите ссылки на ваш ресурс на сторонних ресурсах. Я бы посоветовал живой журнал и другие популярные блоги. И то, яндекс не сразу индексирует сайт, ему нужно время, чтобы "подготовится", в отличии от гугла, который начинает индексацию сразу. Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Автор тЕПЕРЬ У МЕНЯ ОН ВЫГЛЯДИТ ТАК User-agent: * Disallow: User-agent: Yandex Disallow: /autobackup.php Disallow: /user Disallow: Sitemap: htp://klondak.ru/sitemap.xml Host: http://www.klondak.ru чТО СКАЖУТ СПЕЦИАЛИСТЫ? Ссылка на сообщение Поделиться на других сайтах
celsoft 6237 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Disallow: /autobackup.php можете выкинуть. поисковики индексируют только те ссылки которые есть на странице, а не что то придумывают свое, поэтому адрему они и так никогда не пойдут.User-agent: Yandex тоже непонятно почему только для яндекса вы запрещаете индексацию /user для гугля что ли не надо? Также sitemap, тоже гуглю нужен. Правильнее в таком случае просто User-agent: * Disallow: /user Sitemap: htp://klondak.ru/sitemap.xml Host: http://www.klondak.ru Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Жесть User-agent: * Disallow: /user* Sitemap: htp://my-site.ru/sitemap.xml User-agent: Yandex Disallow: /user* Sitemap: htp://my-site.ru/sitemap.xml Host: my-site.ru Ссылка на сообщение Поделиться на других сайтах
Red Drag 18 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Так правильнее??? User-agent: * Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /languages/ Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword User-agent: Yandex Host: www.connect-nokia.ru Sitemap: http://connect-nokia.ru/sitemap.xml Или лучше так User-agent: * Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /languages/ Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://connect-nokia.ru/sitemap.xml User-agent: Yandex Host: www.connect-nokia.ru Sitemap: http://connect-nokia.ru/sitemap.xml Разница в том что Sitemap: http://connect-nokia.ru/sitemap.xml не только для яндекса. Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Я шоке Red Drag, тебе такой: User-agent: * Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user* Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://connect-nokia.ru/sitemap.xml User-agent: Yandex Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user* Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://connect-nokia.ru/sitemap.xml Host: www.connect-nokia.ru Ссылка на сообщение Поделиться на других сайтах
Red Drag 18 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 В итоге сделал: User-agent: * Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /languages/ Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Host: www.connect-nokia.ru Sitemap: http://connect-nokia.ru/sitemap.xml Прочитал что гуглу безразлично наличие "Host" и отделять необязательно Ссылка на сообщение Поделиться на других сайтах
МASTER 11 Опубликовано: 8 января 2010 Рассказать Опубликовано: 8 января 2010 Три раза написал правильный robots.txt. ухожу отсюда. Помню на серче был юзер, который этот robots.txt сделал весом под 50 клб Ссылка на сообщение Поделиться на других сайтах
Captain 636 Опубликовано: 10 января 2010 Рассказать Опубликовано: 10 января 2010 Прочитал что гуглу безразлично наличие "Host" и отделять необязательно В гугле в панели веб-мастера добавляется Ссылка на сообщение Поделиться на других сайтах
BMWshka 0 Опубликовано: 28 января 2010 Рассказать Опубликовано: 28 января 2010 а у меня по адресу Sitemap: http://сайт/sitemap.xml не чего нету ) Или я че то не догоняю? Ссылка на сообщение Поделиться на других сайтах
Dj Dance 185 Опубликовано: 28 января 2010 Рассказать Опубликовано: 28 января 2010 а у меня по адресу Sitemap: http://сайт/sitemap.xml не чего нету ) Или я че то не догоняю? Скорее всего у вас не создана карта сайта. Зайдите в раздел Карта сайта для Google и Yandex Админцентра и посмотрите не ли там такой строки - Файл индекса для Google Sitemap ранее еще не создавался. Если есть, нажмите "Создать / Обновить файл карты сайта" Ссылка на сообщение Поделиться на других сайтах
igaiga3 0 Опубликовано: 1 января 2011 Рассказать Опубликовано: 1 января 2011 Если не изменять файл роботс с данными по умолчанию: такой изначальный вид файла User-Agent: * Disallow: /_private/ User-agent: Yandex Disallow: /_private/ будет ли нормально проходить работа роботов поисковиков? и что значит private? Ссылка на сообщение Поделиться на других сайтах
zgr 72 Опубликовано: 1 января 2011 Рассказать Опубликовано: 1 января 2011 будет ли нормально проходить работа роботов поисковиков? Да, но с таким роботсом (пустым) весь мусор проиндексируется, а основной сайт может вылететь, как дубль. что значит private? Какая-то папка или файл на ФТП. Нужно указать все папки, за исключением картинок, иначе и сами файлы движка проиндексируются и весь ваш сайт будет виден всем снаружи, т.е. я смогу видеть все ваши коды, знать расположение папок и т.д. ---- В самом конце файла обычно пустой оставляют дизалоу, который разрешает всё, что не перечислено выше: Disallow: Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Архивировано
Эта тема находится в архиве и закрыта для публикации сообщений.