sanek131287 0 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 (изменено) Привет всем! Подскажите, как правильно составить файл robots.txt , если ссылки на сайте без ЧПУ? Как вот этот роботс будет выглядеть для сайта без ЧПУ: User-Agent: * Crawl-delay: 5 Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://сайт.ru/sitemap.xml Allow: / Ссылка на сайт: тут Спасибо заранее! Изменено 5 мая 2009 пользователем sanek131287 Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 617 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 (изменено) !!! Первым делом переименнуй admin.php и срочно удали его из роботс, т.к. роботс может посмотреть любой пользователь. С autobackup.php сделай тоже самое. Это с ЧПУ: Disallow: /user/ Disallow: /favorites/ Disallow: /statistics.html Остальное по принципу /index.php?do=register Наведи на ссылку которую нужно закрыть и и увидишь адрес. Allow: / Sitemap: http://твой сайт/sitemap.xml Host: www.твой сайт.ру (с www или без, зависит от того по какому адресу продвигаешь сайт, для выдачи в поисковиках) Изменено 5 мая 2009 пользователем Captain Цитата Ссылка на сообщение Поделиться на других сайтах
sanek131287 0 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Автор ок, спасибо, кое что я понял.. но меня вот интересует вот что: с ЧПУ ссылка на профиль пользователя будет такой: сайт.ру/user/ВасяПупкин без ЧПУ ссылка на профиль будет такой: сайт.ру/index.php?subaction=userinfo&user=ВасяПупкин как мне прописать в роботсе, чтобы закрыть все профили от индексации, а не только Васи Пупкина Цитата Ссылка на сообщение Поделиться на других сайтах
WWW.ZEOS.IN 1 161 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Наверное так: Disallow: /index.php?subaction=userinfo&user= На сайте вообще будет что-то индексироваться? Цитата Ссылка на сообщение Поделиться на других сайтах
sanek131287 0 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Автор Наверное так: Disallow: /index.php?subaction=userinfo&user= я тоже так думаю, но хотелось бы знать точно... На сайте вообще будет что-то индексироваться? всмысле? Цитата Ссылка на сообщение Поделиться на других сайтах
WWW.ZEOS.IN 1 161 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Мне почему-то показалось, что ты всё закрываешь от индексации Цитата Ссылка на сообщение Поделиться на других сайтах
sanek131287 0 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Автор да нет, не все конечно... на сайте что должно индексироваться? Новости, да и только... всякие профили и т.д - ни к чему индексировать... а навости у меня идут с ссылкой сайт.ру/index.php?newsid=1234 Цитата Ссылка на сообщение Поделиться на других сайтах
WWW.ZEOS.IN 1 161 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 А ну тогда ок Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 617 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 (изменено) Наверное так: Disallow: /index.php?subaction=userinfo&user= Я думаю так: Disallow: /index.php?subaction=userinfo&user=* Хотя все равно наверно Изменено 5 мая 2009 пользователем Captain Цитата Ссылка на сообщение Поделиться на других сайтах
sanek131287 0 Опубликовано: 5 мая 2009 Рассказать Опубликовано: 5 мая 2009 Автор ясно... спасибо... еще есть мнения? чтобы наверняка... Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.