Перейти к публикации

Рекомендованные сообщения

Нужна помощь в написании файла robots.txt мой сайт Нужно что бы индексировали все поисковики,все что можно и нужно конкретно для моего сайта,кроме закрытых категорий таких как admin.php и т.д

Мой файл User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://android-life.net/sitemap.xml

User-agent: Yandex

Host: android-life.net

что нужно добавить,что удалить?

Изменено пользователем gdsx10
Ссылка на сообщение
Поделиться на других сайтах
User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm


Allow: /

Sitemap: http://android-life.net/sitemap.xml

Host: android-life.net

Ссылка на сообщение
Поделиться на других сайтах

!!Внимание!!

Для того чтобы лучше использовать наши ресурсы, нажмите здесь , и станьте одним из участников нашего проэкта!

Как совет, слово проэкт пишется с Е - проект.

Ссылка на сообщение
Поделиться на других сайтах

!!Внимание!!

Для того чтобы лучше использовать наши ресурсы, нажмите здесь , и станьте одним из участников нашего проэкта!

Как совет, слово проэкт пишется с Е - проект.

Ну какая тебе разница, что у него на сайте, какие ошибки и т.п.?

Человек не сайт просит оценить, а помочь и иной рекомендацией не связанная с проверкой орфографии.

Ссылка на сообщение
Поделиться на других сайтах

User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm


Allow: /

Sitemap: http://android-life.net/sitemap.xml

Host: android-life.net

Разве есть Allow? По моему везде пишут что кроме Disallow не чего нет!

Ссылка на сообщение
Поделиться на других сайтах

Разве есть Allow? По моему везде пишут что кроме Disallow не чего нет!

Disallow: = запрещено

Allow: = разрешено

Читайте доки, для большего понимания:

http://help.yandex.ru/webmaster/?id=996567

https://www.google.com/support/webmasters/bin/answer.py?answer=35303

Ссылка на сообщение
Поделиться на других сайтах
  • 3 недели спустя...

Тоже хочется совета по правильности составления мною роботса, обратил внимание что поисковики проиндексировали все что можно с сайта, теги, профиль пользователя, страница номер два,архив новостей, новости за апрель. делал анализ на сайте cy-pr.com, всего у меня на сайте сейчас 33 новости, но анализ мне показывает что:

Google / % страниц не под фильтрами 220 / 31 %

Яндекс 123

Вот я читал читал и вроде что то составил, посмотрите пожалуйста правильно или нет.

User-Agent: *

Disallow: /templates/

Disallow: /user/

Disallow: /2011/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /backup/

Disallow: /languages/

Disallow: /newposts/

Disallow: /rules.html

Disallow: /tags/

Disallow: /page/

Disallow: /statistics.html

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /*print

Disallow: /*name=search

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=lostpassword

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Ссылка на сообщение
Поделиться на других сайтах

User-agent: *

Disallow: /

Disallow: /admin.php

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Вот самое оно :rolleyes: ничего лишнего

Ссылка на сообщение
Поделиться на других сайтах

В этом случае если я правильно понял что все страницы кроме главной не будут иднексироваться?

читайте мат. часть

http://help.yandex.ru/webmaster/?id=996567

http://clip2net.com/clip/m73798/1304596573-clip-9kb.png

User-agent: Yandex

Disallow: / # блокирует доступ ко всему сайту

Ссылка на сообщение
Поделиться на других сайтах

WebSet

Я всего лишь просил посмотреть правильно ли я сделал ,а не просил закидывать меня мануалами и инструкциями.

Ссылка на сообщение
Поделиться на других сайтах

Я всего лишь просил посмотреть правильно ли я сделал ,а не просил закидывать меня мануалами и инструкциями.

тогда скоро всем надоест отвечать на ваши вопросы, которые описаны во всех FAQ'ах, раз вы не любитель почитать. И все равно придется лезть в мануалы. Вместо критики, лучше бы спасибо поставили, или раз вас направили на правильный путь, вы наоборот, шипы кверху?

Ссылка на сообщение
Поделиться на других сайтах

Я всего лишь просил посмотреть правильно ли я сделал ,а не просил закидывать меня мануалами и инструкциями.

Действительно, спасибо бы сказали ребятам. Кто вам еще поможет, как не они? К тому же, денег у вас за помощь не берут.

Когда у меня возникают вопросы, я их задаю и мне всегда помогают, за что я ребятам очень благодарен. А вы видимо ошиблись адресом. В следующий раз вас вежливо направят сюда - http://lleo.aha.ru/na/

Ссылка на сообщение
Поделиться на других сайтах

что вы умничаете, смотрите выше мое сообщение, я спросил читайте внимательно,посмотрите пожалуйста правильно или нет трудно ответить нет не правильно или правильно, вы димагогию развели, иди читай, иди учи, на х.у послать угрожают, я и сам могу отослать за мной не заржавеет, я несколько раз перечитывал то что привел выше Captain, но все равно я сомневаюсь в том что сделал и спросил, вместо конкретного ответа что я получил иди читай мать часть, за что спрашивается спасибо то.

Ссылка на сообщение
Поделиться на других сайтах

вместо конкретного ответа что я получил иди читай мать часть, за что спрашивается спасибо то.

http://clip2net.com/clip/m73798/1304620429-clip-12kb.png

вот это что по вашему?

Ссылка на сообщение
Поделиться на других сайтах

Разве есть Allow? По моему везде пишут что кроме Disallow не чего нет!

Disallow: = запрещено

Allow: = разрешено

Читайте доки, для большего понимания:

http://help.yandex.ru/webmaster/?id=996567

https://www.google.com/support/webmasters/bin/answer.py?answer=35303

Кто тебе вообще сказал, что Allow - разрешено? :)

http://www.robotstxt.org/robotstxt.html

This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "stuff", and leave the one file in the level above this directory
Ссылка на сообщение
Поделиться на других сайтах

Пользуйтесь проверкой этого файла и подставляйте нужные ссылки для проверки в вебмастере яндекса. Сделали тут слона из мухи :blink:

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...