Перейти к публикации

Рекомендованные сообщения

Celsoft, я так понимаю если в оригинальном дистрибутиве нету файла robots.txt, то поисковые системы могут сканировать всё, что смогут увидеть? Я не думаю, что это есть хорошо!

Выходит надо каждому создавать файл robots.txt? Почему изначально нету этого файла с правилами для ПС в оригинальном дистрибутиве?

имхо  :rolleyes:

Ссылка на сообщение
Поделиться на других сайтах

Потому что robots.txt настраивается индивидуально для каждого сайта и к двигу никакого отношения не имеет.

Ссылка на сообщение
Поделиться на других сайтах

Captain, но ведь надо закрыть от индексирования какие-то системные файлы.

Ссылка на сообщение
Поделиться на других сайтах

Captain, как например закрыть страницы для печати? Ведь для поисковой системы это дублирование контекста, а это плохо.

Пример таких страниц для печати: www.site.ru/main/print:page,1,4-zagolovok-stati.html

Ссылка на сообщение
Поделиться на других сайтах

встречал у себя на сайте, что именно эти страницы для печати попадают в индекс а не нормальные страницы, наверное потомучто они легче весят?

Ссылка на сообщение
Поделиться на других сайтах

x-zone-x, и да и нет! "Да" потому, что легче весят, "Нет" потому, что имеют более глубокий уровеь вложенности, чем полная новость.

Ссылка на сообщение
Поделиться на других сайтах

Я поставил редирект на внешние ссылки и меня интересует, как их правильно закрыть в robots.txt?

например ссылка выглядит так: _http://www.мойсайт.com/go/?http://чужойсайт.com

Disallow: /go/

подскажите, так будет правильно?

Изменено пользователем Drovosek
Ссылка на сообщение
Поделиться на других сайтах

а как зделать rdirect страницы версия для печати на нормальную полную новость

может так лучше будет чем закрывать уже проиндексированные страницы?

как вы думаете?

Ссылка на сообщение
Поделиться на других сайтах

http://www.site.ru/admin.php?mod=options&action=options не должен инджексироваться

http://www.site.ru/admin.php не должен инджексироваться

Ссылка на сообщение
Поделиться на других сайтах

у знакомого есть сайт и у него ничего небыло запрещено в робот.тхт

и дубликатов новостей полно и он попал в яндех

Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

Изменено пользователем rixxar
Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

User-agent: Yandex - на что это влияет?

Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте!

По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды!

Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567

Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex

Host: my-dle-site.ru

User-agent: Yandex - на что это влияет?

На то, что правило устанавливается именно для этой поисковой системы! И вообще rixxar не правильно написал.

В интернете есть много описания про ROBOTS.TXT

Ссылка на сообщение
Поделиться на других сайтах

www.zeos.com.ua, а ты можешь написать стандартный роботс.тхт для дле, на все поисковики?

Чтобы создать правило для всех ПС надо прописать так:

Первая строчка: User-agent: * означает, что правило относится ко всем ПС

Вторая строчка Disallow: /images этой строчкой мы запретим индексировать всё что находится в папке images

ну, а потом и так далее для всех папок или файлов:

Disallow: /papka1

Disallow: /papka2

Disallow: /file.html

Ссылка на сообщение
Поделиться на других сайтах
  • 1 год спустя...

О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь.

А лучше: http://dle-news.ru/robots.txt и еще лучше дождаться выхода версии 9.2 (пункт 42 посмотрите) :)

P.S. Тема поднята 2-х годичной давности ;)

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...