www.zeos.com.ua 6 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Celsoft, я так понимаю если в оригинальном дистрибутиве нету файла robots.txt, то поисковые системы могут сканировать всё, что смогут увидеть? Я не думаю, что это есть хорошо! Выходит надо каждому создавать файл robots.txt? Почему изначально нету этого файла с правилами для ПС в оригинальном дистрибутиве? имхо Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 623 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Потому что robots.txt настраивается индивидуально для каждого сайта и к двигу никакого отношения не имеет. Цитата Ссылка на сообщение Поделиться на других сайтах
www.zeos.com.ua 6 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Автор Captain, но ведь надо закрыть от индексирования какие-то системные файлы. Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 623 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Это какие такие системные? Есть ссылка на сайте - будет индексировать, нет - на нет и суда нет. Цитата Ссылка на сообщение Поделиться на других сайтах
www.zeos.com.ua 6 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Автор Captain, как например закрыть страницы для печати? Ведь для поисковой системы это дублирование контекста, а это плохо. Пример таких страниц для печати: www.site.ru/main/print:page,1,4-zagolovok-stati.html Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 623 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 User-agent: * Disallow: /*print Цитата Ссылка на сообщение Поделиться на других сайтах
x-zone-x 3 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 встречал у себя на сайте, что именно эти страницы для печати попадают в индекс а не нормальные страницы, наверное потомучто они легче весят? Цитата Ссылка на сообщение Поделиться на других сайтах
www.zeos.com.ua 6 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 Автор x-zone-x, и да и нет! "Да" потому, что легче весят, "Нет" потому, что имеют более глубокий уровеь вложенности, чем полная новость. Цитата Ссылка на сообщение Поделиться на других сайтах
Drovosek 0 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 (изменено) Я поставил редирект на внешние ссылки и меня интересует, как их правильно закрыть в robots.txt? например ссылка выглядит так: _http://www.мойсайт.com/go/?http://чужойсайт.com Disallow: /go/ подскажите, так будет правильно? Изменено 5 марта 2009 пользователем Drovosek Цитата Ссылка на сообщение Поделиться на других сайтах
leoxe 0 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 User-agent: * Disallow: /go Цитата Ссылка на сообщение Поделиться на других сайтах
Drovosek 0 Опубликовано: 5 марта 2009 Рассказать Опубликовано: 5 марта 2009 leoxe, спасибо! Цитата Ссылка на сообщение Поделиться на других сайтах
x-zone-x 3 Опубликовано: 6 марта 2009 Рассказать Опубликовано: 6 марта 2009 а как зделать rdirect страницы версия для печати на нормальную полную новость может так лучше будет чем закрывать уже проиндексированные страницы? как вы думаете? Цитата Ссылка на сообщение Поделиться на других сайтах
x-zone-x 3 Опубликовано: 6 марта 2009 Рассказать Опубликовано: 6 марта 2009 сайту больше года а яндех досихпор не пускает к себе Цитата Ссылка на сообщение Поделиться на других сайтах
Regystri 0 Опубликовано: 12 марта 2009 Рассказать Опубликовано: 12 марта 2009 значит ты что то не так сделал ! Цитата Ссылка на сообщение Поделиться на других сайтах
newsofts 5 Опубликовано: 12 марта 2009 Рассказать Опубликовано: 12 марта 2009 http://www.site.ru/admin.php?mod=options&action=options не должен инджексироваться http://www.site.ru/admin.php не должен инджексироваться Цитата Ссылка на сообщение Поделиться на других сайтах
x-zone-x 3 Опубликовано: 14 марта 2009 Рассказать Опубликовано: 14 марта 2009 у знакомого есть сайт и у него ничего небыло запрещено в робот.тхт и дубликатов новостей полно и он попал в яндех Цитата Ссылка на сообщение Поделиться на других сайтах
WMDrakon 20 Опубликовано: 14 марта 2009 Рассказать Опубликовано: 14 марта 2009 www.zeos.com.ua, все что нужно, все закрыто изначально. Цитата Ссылка на сообщение Поделиться на других сайтах
rixxar 0 Опубликовано: 15 марта 2009 Рассказать Опубликовано: 15 марта 2009 (изменено) Здравствуйте! По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды! Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567 Правильный robots.txt для ДЛЕ будет выглядеть примерно так: User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://my-dle-site.ru/sitemap.xml User-agent: Yandex Host: my-dle-site.ru Изменено 15 марта 2009 пользователем rixxar Цитата Ссылка на сообщение Поделиться на других сайтах
guusr 19 Опубликовано: 16 марта 2009 Рассказать Опубликовано: 16 марта 2009 Здравствуйте! По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды! Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567 Правильный robots.txt для ДЛЕ будет выглядеть примерно так: User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://my-dle-site.ru/sitemap.xml User-agent: Yandex Host: my-dle-site.ru User-agent: Yandex - на что это влияет? Цитата Ссылка на сообщение Поделиться на других сайтах
www.zeos.com.ua 6 Опубликовано: 16 марта 2009 Рассказать Опубликовано: 16 марта 2009 Автор Здравствуйте! По поводу robots.txt ниже приведу ссылку на яндекс где все доходчиво описано по поводу файла robots.txt все директивы поисковиков и команды! Вот собственно говоря и ссылка: http://help.yandex.ru/webmaster/?id=996567 Правильный robots.txt для ДЛЕ будет выглядеть примерно так: User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://my-dle-site.ru/sitemap.xml User-agent: Yandex Host: my-dle-site.ru User-agent: Yandex - на что это влияет? На то, что правило устанавливается именно для этой поисковой системы! И вообще rixxar не правильно написал. В интернете есть много описания про ROBOTS.TXT Цитата Ссылка на сообщение Поделиться на других сайтах
guusr 19 Опубликовано: 16 марта 2009 Рассказать Опубликовано: 16 марта 2009 www.zeos.com.ua, а ты можешь написать стандартный роботс.тхт для дле, на все поисковики? Цитата Ссылка на сообщение Поделиться на других сайтах
www.zeos.com.ua 6 Опубликовано: 16 марта 2009 Рассказать Опубликовано: 16 марта 2009 Автор www.zeos.com.ua, а ты можешь написать стандартный роботс.тхт для дле, на все поисковики? Чтобы создать правило для всех ПС надо прописать так: Первая строчка: User-agent: * означает, что правило относится ко всем ПС Вторая строчка Disallow: /images этой строчкой мы запретим индексировать всё что находится в папке images ну, а потом и так далее для всех папок или файлов: Disallow: /papka1 Disallow: /papka2 Disallow: /file.html Цитата Ссылка на сообщение Поделиться на других сайтах
x-zone-x 3 Опубликовано: 17 марта 2009 Рассказать Опубликовано: 17 марта 2009 (изменено) . Изменено 17 марта 2009 пользователем x-zone-x Цитата Ссылка на сообщение Поделиться на других сайтах
freeprogs.kiev.ua 0 Опубликовано: 17 декабря 2010 Рассказать Опубликовано: 17 декабря 2010 О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь. Цитата Ссылка на сообщение Поделиться на других сайтах
Dj Dance 185 Опубликовано: 17 декабря 2010 Рассказать Опубликовано: 17 декабря 2010 О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь. А лучше: http://dle-news.ru/robots.txt и еще лучше дождаться выхода версии 9.2 (пункт 42 посмотрите) P.S. Тема поднята 2-х годичной давности Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.