robots.txt

[www.zeos.com.ua 6]

Celsoft, я так понимаю если в оригинальном дистрибутиве нету файла robots.txt, то поисковые системы могут сканировать всё, что смогут увидеть? Я не думаю, что это есть хорошо!

Выходит надо каждому создавать файл robots.txt? Почему изначально нету этого файла с правилами для ПС в оригинальном дистрибутиве?

имхо 

[Captain 617]

Потому что robots.txt настраивается индивидуально для каждого сайта и к двигу никакого отношения не имеет.

[www.zeos.com.ua 6]

Captain, но ведь надо закрыть от индексирования какие-то системные файлы.

[Captain 617]

Это какие такие системные? Есть ссылка на сайте - будет индексировать, нет - на нет и суда нет.

[www.zeos.com.ua 6]

Captain, как например закрыть страницы для печати? Ведь для поисковой системы это дублирование контекста, а это плохо.

Пример таких страниц для печати: www.site.ru/main/print:page,1,4-zagolovok-stati.html

[Captain 617]

User-agent: *

Disallow: /*print

[x-zone-x 3]

встречал у себя на сайте, что именно эти страницы для печати попадают в индекс а не нормальные страницы, наверное потомучто они легче весят?

[www.zeos.com.ua 6]

x-zone-x, и да и нет! "Да" потому, что легче весят, "Нет" потому, что имеют более глубокий уровеь вложенности, чем полная новость.

[Drovosek 0]

Я поставил редирект на внешние ссылки и меня интересует, как их правильно закрыть в robots.txt?

например ссылка выглядит так: _http://www.мойсайт.com/go/?http://чужойсайт.com

Disallow: /go/

подскажите, так будет правильно?

Изменено 5 марта 2009 пользователем Drovosek

[leoxe 0]

User-agent: *

Disallow: /go

[Drovosek 0]

leoxe, спасибо!

[x-zone-x 3]

а как зделать rdirect страницы версия для печати на нормальную полную новость

может так лучше будет чем закрывать уже проиндексированные страницы?

как вы думаете?

[x-zone-x 3]

сайту больше года а яндех досихпор не пускает к себе

[Regystri 0]

значит ты что то не так сделал !

[newsofts 5]

http://www.site.ru/admin.php?mod=options&action=options не должен инджексироваться

http://www.site.ru/admin.php не должен инджексироваться

[x-zone-x 3]

у знакомого есть сайт и у него ничего небыло запрещено в робот.тхт

и дубликатов новостей полно и он попал в яндех

[WMDrakon 20]

www.zeos.com.ua,

все что нужно, все закрыто изначально.

[rixxar 0]

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

Изменено 15 марта 2009 пользователем rixxar

[guusr 19]

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

User-agent: Yandex - на что это влияет?

[www.zeos.com.ua 6]

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

User-agent: Yandex - на что это влияет?

На то, что правило устанавливается именно для этой поисковой системы! И вообще rixxar не правильно написал.

В интернете есть много описания про ROBOTS.TXT

[guusr 19]

www.zeos.com.ua, а ты можешь написать стандартный роботс.тхт для дле, на все поисковики?

[www.zeos.com.ua 6]

www.zeos.com.ua, а ты можешь написать стандартный роботс.тхт для дле, на все поисковики?

Чтобы создать правило для всех ПС надо прописать так:

Первая строчка: User-agent: * означает, что правило относится ко всем ПС

Вторая строчка Disallow: /images этой строчкой мы запретим индексировать всё что находится в папке images

ну, а потом и так далее для всех папок или файлов:

Disallow: /papka1

Disallow: /papka2

Disallow: /file.html

[x-zone-x 3]

.

Изменено 17 марта 2009 пользователем x-zone-x

[freeprogs.kiev.ua 0]

О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь.

[Dj Dance 185]

О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь.

А лучше: http://dle-news.ru/robots.txt и еще лучше дождаться выхода версии 9.2 (пункт 42 посмотрите)

P.S. Тема поднята 2-х годичной давности