xabramichx 0 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 (изменено) вопрос появился я могу запретить роботам индексировать ссылки на определенные сайтов в папке robots.tht или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать. Ozberg.ru Изменено 29 июля 2010 пользователем xabramichx Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 например создаете файл robots.txt и закидывайте в корен, и прописивайте например User-agent: * Disallow: /user/ Disallow: /ссылка всем роботам запрещено индексировать ссылка и user Цитата Ссылка на сообщение Поделиться на других сайтах
xabramichx 0 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 Автор Я немного не понял если я пропишу User-agent: * Disallow: /user/ в robots.txt то роботы не будет индексировать то что написано в тегах quote /quote Цитата Ссылка на сообщение Поделиться на других сайтах
FreeRider 8 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать. так прописать нельзя... Цитата Ссылка на сообщение Поделиться на других сайтах
xabramichx 0 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 Автор Если я сделаю на пример так User-agent: * Disallow: /user/ Disallow: /http://Pupkin.ru он будит индексировать на пример http://Pupkin.ru/fotki Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 29 июля 2010 Рассказать Опубликовано: 29 июля 2010 Если я сделаю на пример так User-agent: * Disallow: /user/ Disallow: /http://Pupkin.ru он будит индексировать на пример http://Pupkin.ru/fotki вам что нужно? что хотите запретить пишите? я вам составлю robots.txt Цитата Ссылка на сообщение Поделиться на других сайтах
FreeRider 8 Опубликовано: 30 июля 2010 Рассказать Опубликовано: 30 июля 2010 или зайдите в помощь яндекса, там всё написано как и что скрывать... Цитата Ссылка на сообщение Поделиться на других сайтах
maks1192 96 Опубликовано: 30 июля 2010 Рассказать Опубликовано: 30 июля 2010 robots.tht вроде бы "h" далЯко от "x". Как так можно промахнутся? Цитата Ссылка на сообщение Поделиться на других сайтах
zgr 72 Опубликовано: 30 июля 2010 Рассказать Опубликовано: 30 июля 2010 вроде бы "h" далЯко от "x". Как так можно промахнутся? Может, он пианист, а у них пальцы длинные... Небольшой ФАК: ? - любой один символ; * - любое количество любых символов. ===================== # Запрет индексации адресов страниц, файлов и папок следующими роботами: User-agent: * #Запрет индексации любой даты, т.е. все, что начинается с даты: Disallow: /2008/* Disallow: /2009/* Disallow: /2010/* Disallow: /2011/* Disallow: /2008/??/ Disallow: /2009/??/ Disallow: /2010/??/ Disallow: /2008/??/??/ Disallow: /2009/??/??/ Disallow: /2010/??/??/ #У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр. Disallow: /*? Disallow: /*& Disallow: /*= Disallow: /*% Disallow: /*: Disallow: /*; Disallow: /*, Запрет индексации прочего мусора (у каждого естественно свои пути): Disallow: /*/*/comment-page-*/ Disallow: /search.html* Disallow: /*/*/trackback/ Disallow: /*/*/print/ Disallow: /*/*/feed/ Disallow: /*/*/rss/ Disallow: /*/trackback/ Disallow: /*/print/ Disallow: /*/feed/ Disallow: /*/rss/ Disallow: /*/*/*? Disallow: /*/*? #Разрешим ссылкам индексироваться, которые попали под общий запрет: Allow: /tag/rss/ Allow: /tag/feed/ # Запрет индексации адресов страниц с расширением: .php, .tpl и д.р. Disallow: /*/*.php$ Disallow: /*/*.tpl$ Disallow: /*.php$ Disallow: /*.tpl$ Disallow: /*.zip$ Disallow: /*.htaccess$ Disallow: /*.access_log$ # Запрет индексации директорий сайта Disallow: /markets/ Disallow: /webmoney/ Disallow: /upgrade/ Disallow: /backup/ Disallow: /uploads/ Disallow: /webstat/ Disallow: /cgi-bin/ Disallow: /tag/ Disallow: /static/ Disallow: /templates/ Disallow: /language/ Disallow: /admin/ Disallow: /engine/ Disallow: /user/ Disallow: /links/ Disallow: /lastnews/page/ #Разрешим индексацию всего прочего: Disallow: # Разрешить индексацию страниц для AdSense User-agent: Mediapartners-Google* Disallow: #Подскажем роботам, где искать карту сайта. Sitemap: http://isle-blog.ru/sitemap.xml.gz Цитата Ссылка на сообщение Поделиться на других сайтах
xabramichx 0 Опубликовано: 31 июля 2010 Рассказать Опубликовано: 31 июля 2010 Автор )))бывает исправимся Цитата Ссылка на сообщение Поделиться на других сайтах
ludmila 0 Опубликовано: 2 марта 2011 Рассказать Опубликовано: 2 марта 2011 zgr, и все это должно быть в robots.txt? Цитата Ссылка на сообщение Поделиться на других сайтах
zgr 72 Опубликовано: 3 марта 2011 Рассказать Опубликовано: 3 марта 2011 zgr, и все это должно быть в robots.txt? Я не спец по роботсу, просто написал для себя так, как мне показалось правильным. Каждый пишет под свой сайт и свои требования что-то своё. Можете, выкинуть некоторые пункты и/или добавить свои. Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 3 марта 2011 Рассказать Опубликовано: 3 марта 2011 (изменено) zgr, и все это должно быть в robots.txt? Так не правильно, правильный робот должен выглядеть так. Можете убрать из списка те страницы которые хотите чтобы индексировали. User-agent: * Disallow: /*print Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Изменено 3 марта 2011 пользователем abasive Цитата Ссылка на сообщение Поделиться на других сайтах
Slavchik.ru 17 Опубликовано: 5 марта 2011 Рассказать Опубликовано: 5 марта 2011 эт почему он правильный? потому что его слепил celsoft и сунул в дистриб? Цитата Ссылка на сообщение Поделиться на других сайтах
ru.slanov 20 Опубликовано: 5 марта 2011 Рассказать Опубликовано: 5 марта 2011 #У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр. ..... Disallow: /*, Вот на Disallow: /*, ругается Яша, пишет что такого значения быть не может (; Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.