hotdj 33 Опубликовано: 8 сентября 2010 Рассказать Опубликовано: 8 сентября 2010 Собсвенно такой вопрос. Кто поможет грамотно составить этот зловредный файлик.Вот собственно сам набросал. очень странно, но в поиске яндекса 8 страниц, главная а остальные все из календаря. что очень тупо. набросок User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /statistics.html Disallow: /2010/ Disallow: /index.php?do=rules Disallow: /index.php?do=feedback Disallow: /index.php?do=search для стандартного двигаправильно указанно. или погорячился с чем-то ?немного не разобрался Директива Clean-param. кто наглядно расскажет и пример приведёт сайта ? Цитата Ссылка на сообщение Поделиться на других сайтах
maks1192 96 Опубликовано: 8 сентября 2010 Рассказать Опубликовано: 8 сентября 2010 Для начала: 1. http://forum.dle-news.ru/index.php?showtopic=50766&st=0 2. http://forum.dle-news.ru/index.php?showtopic=49297&st=0 Цитата Ссылка на сообщение Поделиться на других сайтах
hotdj 33 Опубликовано: 8 сентября 2010 Рассказать Опубликовано: 8 сентября 2010 Автор да там флуда киллометры. =) просто узнал так или не так.Кстати можно ли дописать такой параметр в роботс тхт и что он за собой повлекёт ? Disallow: /page/ Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Disallow: /autobackup.php Disallow: /statistics.html Disallow: /favorites/ интересно зачем вы это все написали если поисковик никогда не пойдет по этим адресам, т.к. для него таких адресов попросту нет на странице. Идеальный файл это http://dle-news.ru/robots.txt и как следствие только нужные страницы в поисковике http://webmaster.yandex.ru/check.xml?hostname=http%3A%2F%2Fdle-news.ru Цитата Ссылка на сообщение Поделиться на других сайтах
maks1192 96 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 celsoft, я вот не пойму, у вас в robots.txt Disallow: /*do=lostpassword и т.д. - почему так? Когда необходимо вот так: Disallow: /index.php?do=lostpassword Я перехожу по ссылке: http://dle-news.ru/*do=lostpassword и вижу, что такой страницы нет, значит и поисковик будет видеть тоже самое... Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 613 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Я перехожу по ссылке: http://dle-news.ru/*do=lostpassword и вижу, что такой страницы нет, значит и поисковик будет видеть тоже самое... Не будет, читайте help'ы: Использование спецсимволов "*" и "$". При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры: User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' # и '/cgi-bin/private/test.aspx' Disallow: /*private # запрещает не только '/private', # но и '/cgi-bin/private'Спецсимвол '$'. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например: User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам # начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самоечтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например: User-agent: Yandex Disallow: /example$ # запрещает '/example', # но не запрещает '/example.html'User-agent: Yandex Disallow: /example # запрещает и '/example', # и '/example.html'User-agent: Yandex Disallow: /example$ # запрещает только '/example' Disallow: /example*$ # так же, как 'Disallow: /example' #запрещает и /example.html и /example Цитата Ссылка на сообщение Поделиться на других сайтах
maks1192 96 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 то-есть можно и так и так..? Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 celsoft, я вот не пойму, у вас в robots.txt Цитата Disallow: /*do=lostpassword и т.д. - почему так? Когда необходимо вот так: Цитата Disallow: /index.php?do=lostpassword Неверное понимание у вас. Мое правило в отличие от вашего правильнее, объясню почему. На восстановление пароля можно попасть двумя путями это http://dle-news.ru/index.php?do=lostpassword и второй путь это http://dle-news.ru/?do=lostpassword если поставить запрет так как вы вторая ссылка поисковиком проиндексируется, если поставить как я, то обе ссылки индексироваться не будут. Говоря простым и понятным языком "*" говорит поисковику: "все равно что стоит в URL до комбинации do=lostpassword не обращай на это внимание, для тебя важно только do=lostpassword" 1 Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /statistics.html Disallow: /2010/ Disallow: /index.php?do=rules Disallow: /index.php?do=feedback Disallow: /index.php?do=search Достаточно написать так User-agent: * Disallow: /index.php* Disallow: /user/ Disallow: /statistics.html а версия для печати можно запретить из админки Вот собственно сам набросал. очень странно, но в поиске яндекса 8 страниц, главная а остальные все из календаря. что очень тупо. Это не зависит от роботс текст, может проблема с контентом или у хостера, что вовремя апа сайт не доступен был. Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Disallow: /index.php* оригинально запретили весь сайт к индексации. Звездочка на конце кстати необязательна. По умолчанию звездочка на конце, читайте выше приведенных хелпDisallow: /statistics.html ссылка на статистику есть только у авторизованных пользователей. Роботы это гости, они на сайтах не регистрируются и не авторизуются Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 оригинально запретили весь сайт к индексации. Звездочка на конце кстати необязательна. По умолчанию звездочка на конце, читайте выше приведенных хелп Это не запретит индексацию сайта, а запретит переход по ссылкам например do=rules feedback. ссылка на статистику есть только у авторизованных пользователей. Роботы это гости, они на сайтах не регистрируются и не авторизуются Почему только авторизованные? гости тоже смогут посмотреть статистику. Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Это не запретит индексацию сайта, а запретит переход по ссылкам например do=rules feedback. Почитайте документацию для поисковиков, ее даже опубликовали в этой теме Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к. Disallow: /index.php* и Disallow: /index.php это абсолютно одинаковые для поисковиков правила.Почему только авторизованные? гости тоже смогут посмотреть статистику. роботы ходят по ссылкам, для гостей скрипт таких ссылок нигде не формирует, только если вы сами умышленно не поставите на странице Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к. Disallow: /index.php* и Disallow: /index.php это абсолютно одинаковые для поисковиков правила. Я тоже раньше думал что это запретит, но на самом деле это не так. На моем сайте стоит так уже 6 месяцев и некогда проблему не был с индексации, не одна страница даже не вылетил из индекса. Вот так у меня User-agent: * Disallow: /index.php* Disallow: /user/ для гостей скрипт таких ссылок нигде не формирует, только если вы сами умышленно не поставите на странице Да согласен Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 На моем сайте стоит так уже 6 месяцев и некогда проблему не был с индексации, не одна страница даже не вылетил из индекса. Вас спасает ЧПУ и отсутствие указания в шаблоне, что главная это index.php, иначе бы все вылетело, причем достаточно одной ссылки. Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Вас спасает ЧПУ и отсутствие указания в шаблоне, что главная это index.php, иначе бы все вылетело, причем достаточно одной ссылки. Если так, то ссылки с главной страницы должны были отсуствовать в поиске, но они тоже включены в индекс. И трафик с поискових систем у меня идет не по ссылкам а по котегориям. Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 5 991 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Если так, то ссылки с главной страницы должны были отсуствовать в поиске, но они тоже включены в индекс если бы у вас была ссылка на главную как _http://site.ru/index.php то у вас бы все слетело, вас спасает то что она стоит как _http://site.ru/ Хотя мне лично все равно как у вас стоит, и будет ли ваш сайт в индексе, я лишь указал вам на возможную потерю сайта из индекса, а вы можете делать как хотите. Только неверно советовать такой способ другим, потому что у вас этой ссылки не стоит, а у другого может запросто стоять, и ваш совет очень сильно навредит другому пользователю. Цитата Ссылка на сообщение Поделиться на других сайтах
maks1192 96 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 (изменено) Неверное понимание у вас. Мое правило в отличие от вашего правильнее, объясню почему. На восстановление пароля можно попасть двумя путями это http://dle-news.ru/index.php?do=lostpassword и второй путь это http://dle-news.ru/?do=lostpassword если поставить запрет так как вы вторая ссылка поисковиком проиндексируется, если поставить как я, то обе ссылки индексироваться не будут. Говоря простым и понятным языком "*" говорит поисковику: "все равно что стоит в URL до комбинации do=lostpassword не обращай на это внимание, для тебя важно только do=lostpassword" Вот оно что, спасибо. на заметку Изменено 9 сентября 2010 пользователем maks1192 Цитата Ссылка на сообщение Поделиться на других сайтах
abasive 41 Опубликовано: 9 сентября 2010 Рассказать Опубликовано: 9 сентября 2010 Хотя мне лично все равно как у вас стоит, и будет ли ваш сайт в индексе, я лишь указал вам на возможную потерю сайта из индекса, а вы можете делать как хотите. Подстраховаться не помешает. Спасибо Цитата Ссылка на сообщение Поделиться на других сайтах
hotdj 33 Опубликовано: 10 сентября 2010 Рассказать Опубликовано: 10 сентября 2010 Автор Хех, ну и дискуссия. Роботс ТХТ вроде такой безобидный файл а неправильно составить и попрощаться со страничками в индексе =)) Disallow: /autobackup.php Disallow: /statistics.html Disallow: /favorites/ интересно зачем вы это все написали если поисковик никогда не пойдет по этим адресам, т.к. для него таких адресов попросту нет на странице. Идеальный файл это http://dle-news.ru/robots.txt и как следствие только нужные страницы в поисковике http://webmaster.yandex.ru/check.xml?hostname=http%3A%2F%2Fdle-news.ru а если допустим какйнить неформал оставит ссылку на другом сайте допустим на те же самые фавориты. то что, она будет в индексе? если в роботсе она не прописанна вообще ? или в индекс попадают только те страницы, на которые есть ссылка с самого сайта ? Цитата Ссылка на сообщение Поделиться на других сайтах
Gryffindor 0 Опубликовано: 13 ноября 2010 Рассказать Опубликовано: 13 ноября 2010 правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к. Disallow: /index.php* и Disallow: /index.php это абсолютно одинаковые для поисковиков правила. а эсли вот так? Disallow: /index.php?* Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.