Перейти к публикации

Рекомендованные сообщения

вопрос появился я могу запретить роботам индексировать ссылки на определенные сайтов в папке robots.tht или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать.

Ozberg.ru

Изменено пользователем xabramichx
Ссылка на сообщение
Поделиться на других сайтах

например создаете файл robots.txt и закидывайте в корен,

и прописивайте например

User-agent: *

Disallow: /user/

Disallow: /ссылка

всем роботам запрещено индексировать ссылка и user

Ссылка на сообщение
Поделиться на других сайтах

Я немного не понял если я пропишу

User-agent: *

Disallow: /user/

в robots.txt то роботы не будет индексировать то что написано в тегах quote /quote

Ссылка на сообщение
Поделиться на других сайтах

или еще лучше чтобы он не читал то что находится в тегах quote /quote Если можно то как правильно прописать.

так прописать нельзя...

Ссылка на сообщение
Поделиться на других сайтах

Если я сделаю на пример так

User-agent: *

Disallow: /user/

Disallow: /http://Pupkin.ru

он будит индексировать на пример http://Pupkin.ru/fotki

вам что нужно? что хотите запретить пишите? я вам составлю robots.txt

Ссылка на сообщение
Поделиться на других сайтах

вроде бы "h" далЯко от "x". Как так можно промахнутся?

Может, он пианист, а у них пальцы длинные...

Небольшой ФАК:

? - любой один символ;

* - любое количество любых символов.

=====================

# Запрет индексации адресов страниц, файлов и папок следующими роботами:

User-agent: *

#Запрет индексации любой даты, т.е. все, что начинается с даты:

Disallow: /2008/*

Disallow: /2009/*

Disallow: /2010/*

Disallow: /2011/*

Disallow: /2008/??/

Disallow: /2009/??/

Disallow: /2010/??/

Disallow: /2008/??/??/

Disallow: /2009/??/??/

Disallow: /2010/??/??/

#У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр.

Disallow: /*?

Disallow: /*&

Disallow: /*=

Disallow: /*%

Disallow: /*:

Disallow: /*;

Disallow: /*,

Запрет индексации прочего мусора (у каждого естественно свои пути):

Disallow: /*/*/comment-page-*/

Disallow: /search.html*

Disallow: /*/*/trackback/

Disallow: /*/*/print/

Disallow: /*/*/feed/

Disallow: /*/*/rss/

Disallow: /*/trackback/

Disallow: /*/print/

Disallow: /*/feed/

Disallow: /*/rss/

Disallow: /*/*/*?

Disallow: /*/*?

#Разрешим ссылкам индексироваться, которые попали под общий запрет:

Allow: /tag/rss/

Allow: /tag/feed/

# Запрет индексации адресов страниц с расширением: .php, .tpl и д.р.

Disallow: /*/*.php$

Disallow: /*/*.tpl$

Disallow: /*.php$

Disallow: /*.tpl$

Disallow: /*.zip$

Disallow: /*.htaccess$

Disallow: /*.access_log$

# Запрет индексации директорий сайта

Disallow: /markets/

Disallow: /webmoney/

Disallow: /upgrade/

Disallow: /backup/

Disallow: /uploads/

Disallow: /webstat/

Disallow: /cgi-bin/

Disallow: /tag/

Disallow: /static/

Disallow: /templates/

Disallow: /language/

Disallow: /admin/

Disallow: /engine/

Disallow: /user/

Disallow: /links/

Disallow: /lastnews/page/

#Разрешим индексацию всего прочего:

Disallow:

# Разрешить индексацию страниц для AdSense

User-agent: Mediapartners-Google*

Disallow:

#Подскажем роботам, где искать карту сайта.

Sitemap: http://isle-blog.ru/sitemap.xml.gz

Ссылка на сообщение
Поделиться на других сайтах
  • 7 месяцев спустя...

zgr, и все это должно быть в robots.txt?

Я не спец по роботсу, просто написал для себя так, как мне показалось правильным. Каждый пишет под свой сайт и свои требования что-то своё. Можете, выкинуть некоторые пункты и/или добавить свои. :)

Ссылка на сообщение
Поделиться на других сайтах

zgr, и все это должно быть в robots.txt?

Так не правильно, правильный робот должен выглядеть так.

Можете убрать из списка те страницы которые хотите чтобы индексировали.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Изменено пользователем abasive
Ссылка на сообщение
Поделиться на других сайтах

#У кого ЧПУ, то выключаем мусор. Запрет всех ссылок, в которых есть один из символов: ?, &, =, %, : и пр.

.....

Disallow: /*,

Вот на Disallow: /*, ругается Яша, пишет что такого значения быть не может (;

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...