robots.tht

[xabramichx 0]

вопрос появился я могу запретить роботам индексировать ссылки на определенные сайтов в папке robots.tht или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать.

Ozberg.ru

Изменено 29 июля 2010 пользователем xabramichx

[abasive 41]

например создаете файл robots.txt и закидывайте в корен,

и прописивайте например

User-agent: *

Disallow: /user/

Disallow: /ссылка

всем роботам запрещено индексировать ссылка и user

[xabramichx 0]

Я немного не понял если я пропишу

User-agent: *

Disallow: /user/

в robots.txt то роботы не будет индексировать то что написано в тегах quote /quote

[FreeRider 8]

или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать.

так прописать нельзя...

[xabramichx 0]

Если я сделаю на пример так

User-agent: *

Disallow: /user/

Disallow: /http://Pupkin.ru

он будит индексировать на пример http://Pupkin.ru/fotki

[abasive 41]

Если я сделаю на пример так

User-agent: *

Disallow: /user/

Disallow: /http://Pupkin.ru

он будит индексировать на пример http://Pupkin.ru/fotki

вам что нужно? что хотите запретить пишите? я вам составлю robots.txt

[FreeRider 8]

или зайдите в помощь яндекса, там всё написано как и что скрывать...

[maks1192 96]

robots.tht

вроде бы "h" далЯко от "x". Как так можно промахнутся?

[zgr 72]

вроде бы "h" далЯко от "x". Как так можно промахнутся?

Может, он пианист, а у них пальцы длинные...

Небольшой ФАК:

? - любой один символ;

* - любое количество любых символов.

=====================

# Запрет индексации адресов страниц, файлов и папок следующими роботами:

User-agent: *

#Запрет индексации любой даты, т.е. все, что начинается с даты:

Disallow: /2008/*

Disallow: /2009/*

Disallow: /2010/*

Disallow: /2011/*

Disallow: /2008/??/

Disallow: /2009/??/

Disallow: /2010/??/

Disallow: /2008/??/??/

Disallow: /2009/??/??/

Disallow: /2010/??/??/

#У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр.

Disallow: /*?

Disallow: /*&

Disallow: /*=

Disallow: /*%

Disallow: /*:

Disallow: /*;

Disallow: /*,

Запрет индексации прочего мусора (у каждого естественно свои пути):

Disallow: /*/*/comment-page-*/

Disallow: /search.html*

Disallow: /*/*/trackback/

Disallow: /*/*/print/

Disallow: /*/*/feed/

Disallow: /*/*/rss/

Disallow: /*/trackback/

Disallow: /*/print/

Disallow: /*/feed/

Disallow: /*/rss/

Disallow: /*/*/*?

Disallow: /*/*?

#Разрешим ссылкам индексироваться, которые попали под общий запрет:

Allow: /tag/rss/

Allow: /tag/feed/

# Запрет индексации адресов страниц с расширением: .php, .tpl и д.р.

Disallow: /*/*.php$

Disallow: /*/*.tpl$

Disallow: /*.php$

Disallow: /*.tpl$

Disallow: /*.zip$

Disallow: /*.htaccess$

Disallow: /*.access_log$

# Запрет индексации директорий сайта

Disallow: /markets/

Disallow: /webmoney/

Disallow: /upgrade/

Disallow: /backup/

Disallow: /uploads/

Disallow: /webstat/

Disallow: /cgi-bin/

Disallow: /tag/

Disallow: /static/

Disallow: /templates/

Disallow: /language/

Disallow: /admin/

Disallow: /engine/

Disallow: /user/

Disallow: /links/

Disallow: /lastnews/page/

#Разрешим индексацию всего прочего:

Disallow:

# Разрешить индексацию страниц для AdSense

User-agent: Mediapartners-Google*

Disallow:

#Подскажем роботам, где искать карту сайта.

Sitemap: http://isle-blog.ru/sitemap.xml.gz

[xabramichx 0]

)))бывает исправимся

[ludmila 0]

zgr, и все это должно быть в robots.txt?

[zgr 72]

zgr, и все это должно быть в robots.txt?

Я не спец по роботсу, просто написал для себя так, как мне показалось правильным. Каждый пишет под свой сайт и свои требования что-то своё. Можете, выкинуть некоторые пункты и/или добавить свои.

[abasive 41]

zgr, и все это должно быть в robots.txt?

Так не правильно, правильный робот должен выглядеть так.

Можете убрать из списка те страницы которые хотите чтобы индексировали.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Изменено 3 марта 2011 пользователем abasive

[Slavchik.ru 17]

эт почему он правильный?

потому что его слепил celsoft и сунул в дистриб?

[ru.slanov 20]

#У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр.

.....

Disallow: /*,

Вот на Disallow: /*, ругается Яша, пишет что такого значения быть не может (;