Перейти к публикации

Рекомендованные сообщения

Собсвенно такой вопрос. Кто поможет грамотно составить этот зловредный файлик.

Вот собственно сам набросал. очень странно, но в поиске яндекса 8 страниц, главная а остальные все из календаря. что очень тупо.

набросок

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /statistics.html

Disallow: /2010/

Disallow: /index.php?do=rules

Disallow: /index.php?do=feedback

Disallow: /index.php?do=search

для стандартного двига

правильно указанно. или погорячился с чем-то ?

немного не разобрался Директива Clean-param.

кто наглядно расскажет и пример приведёт сайта ?

Ссылка на сообщение
Поделиться на других сайтах

Для начала:

1. http://forum.dle-news.ru/index.php?showtopic=50766&st=0

2. http://forum.dle-news.ru/index.php?showtopic=49297&st=0

Ссылка на сообщение
Поделиться на других сайтах

да там флуда киллометры. =) просто узнал так или не так.

Кстати можно ли дописать такой параметр в роботс тхт и что он за собой повлекёт ?

Disallow: /page/

Ссылка на сообщение
Поделиться на других сайтах

Disallow: /autobackup.php

Disallow: /statistics.html

Disallow: /favorites/

интересно зачем вы это все написали если поисковик никогда не пойдет по этим адресам, т.к. для него таких адресов попросту нет на странице. Идеальный файл это http://dle-news.ru/robots.txt и как следствие только нужные страницы в поисковике http://webmaster.yandex.ru/check.xml?hostname=http%3A%2F%2Fdle-news.ru

Ссылка на сообщение
Поделиться на других сайтах

celsoft, я вот не пойму, у вас в robots.txt

Disallow: /*do=lostpassword
и т.д. - почему так?

Когда необходимо вот так:

Disallow: /index.php?do=lostpassword

Я перехожу по ссылке: http://dle-news.ru/*do=lostpassword и вижу, что такой страницы нет, значит и поисковик будет видеть тоже самое...

Ссылка на сообщение
Поделиться на других сайтах

Я перехожу по ссылке: http://dle-news.ru/*do=lostpassword и вижу, что такой страницы нет, значит и поисковик будет видеть тоже самое...

Не будет, читайте help'ы:

Использование спецсимволов "*" и "$".

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex

Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'

# и '/cgi-bin/private/test.aspx'

Disallow: /*private # запрещает не только '/private',

# но и '/cgi-bin/private'Спецсимвол '$'.

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex

Disallow: /cgi-bin* # блокирует доступ к страницам

# начинающимся с '/cgi-bin'

Disallow: /cgi-bin # то же самоечтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например:

User-agent: Yandex

Disallow: /example$ # запрещает '/example',

# но не запрещает '/example.html'User-agent: Yandex

Disallow: /example # запрещает и '/example',

# и '/example.html'User-agent: Yandex

Disallow: /example$ # запрещает только '/example'

Disallow: /example*$ # так же, как 'Disallow: /example'

#запрещает и /example.html и /example

Ссылка на сообщение
Поделиться на других сайтах

celsoft, я вот не пойму, у вас в robots.txt

Цитата

Disallow: /*do=lostpassword

и т.д. - почему так?

Когда необходимо вот так:

Цитата

Disallow: /index.php?do=lostpassword

Неверное понимание у вас. Мое правило в отличие от вашего правильнее, объясню почему. На восстановление пароля можно попасть двумя путями это http://dle-news.ru/index.php?do=lostpassword и второй путь это http://dle-news.ru/?do=lostpassword если поставить запрет так как вы вторая ссылка поисковиком проиндексируется, если поставить как я, то обе ссылки индексироваться не будут. Говоря простым и понятным языком "*" говорит поисковику: "все равно что стоит в URL до комбинации do=lostpassword не обращай на это внимание, для тебя важно только do=lostpassword"

Ссылка на сообщение
Поделиться на других сайтах

User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /statistics.html

Disallow: /2010/

Disallow: /index.php?do=rules

Disallow: /index.php?do=feedback

Disallow: /index.php?do=search

Достаточно написать так

User-agent: *

Disallow: /index.php*

Disallow: /user/

Disallow: /statistics.html

а версия для печати можно запретить из админки

Вот собственно сам набросал. очень странно, но в поиске яндекса 8 страниц, главная а остальные все из календаря. что очень тупо.

Это не зависит от роботс текст, может проблема с контентом или у хостера, что вовремя апа сайт не доступен был.

Ссылка на сообщение
Поделиться на других сайтах

Disallow: /index.php*

оригинально запретили весь сайт к индексации. Звездочка на конце кстати необязательна. По умолчанию звездочка на конце, читайте выше приведенных хелп

Disallow: /statistics.html

ссылка на статистику есть только у авторизованных пользователей. Роботы это гости, они на сайтах не регистрируются и не авторизуются

Ссылка на сообщение
Поделиться на других сайтах

оригинально запретили весь сайт к индексации. Звездочка на конце кстати необязательна. По умолчанию звездочка на конце, читайте выше приведенных хелп

Это не запретит индексацию сайта, а запретит переход по ссылкам например do=rules feedback.

ссылка на статистику есть только у авторизованных пользователей. Роботы это гости, они на сайтах не регистрируются и не авторизуются

Почему только авторизованные? гости тоже смогут посмотреть статистику.

Ссылка на сообщение
Поделиться на других сайтах

Это не запретит индексацию сайта, а запретит переход по ссылкам например do=rules feedback.

Почитайте документацию для поисковиков, ее даже опубликовали в этой теме

Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к.

Disallow: /index.php*

и

Disallow: /index.php

это абсолютно одинаковые для поисковиков правила.

Почему только авторизованные? гости тоже смогут посмотреть статистику.

роботы ходят по ссылкам, для гостей скрипт таких ссылок нигде не формирует, только если вы сами умышленно не поставите на странице

Ссылка на сообщение
Поделиться на других сайтах

правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к.

Disallow: /index.php*

и

Disallow: /index.php

это абсолютно одинаковые для поисковиков правила.

Я тоже раньше думал что это запретит, но на самом деле это не так.

На моем сайте стоит так уже 6 месяцев и некогда проблему не был с индексации, не одна страница даже не вылетил из индекса.

Вот так у меня

User-agent: *

Disallow: /index.php*

Disallow: /user/

для гостей скрипт таких ссылок нигде не формирует, только если вы сами умышленно не поставите на странице

Да согласен

Ссылка на сообщение
Поделиться на других сайтах

На моем сайте стоит так уже 6 месяцев и некогда проблему не был с индексации, не одна страница даже не вылетил из индекса.

Вас спасает ЧПУ и отсутствие указания в шаблоне, что главная это index.php, иначе бы все вылетело, причем достаточно одной ссылки.

Ссылка на сообщение
Поделиться на других сайтах

Вас спасает ЧПУ и отсутствие указания в шаблоне, что главная это index.php, иначе бы все вылетело, причем достаточно одной ссылки.

Если так, то ссылки с главной страницы должны были отсуствовать в поиске, но они тоже включены в индекс. И трафик с поискових систем у меня идет не по ссылкам а по котегориям.

Ссылка на сообщение
Поделиться на других сайтах

Если так, то ссылки с главной страницы должны были отсуствовать в поиске, но они тоже включены в индекс

если бы у вас была ссылка на главную как _http://site.ru/index.php то у вас бы все слетело, вас спасает то что она стоит как _http://site.ru/

Хотя мне лично все равно как у вас стоит, и будет ли ваш сайт в индексе, я лишь указал вам на возможную потерю сайта из индекса, а вы можете делать как хотите. Только неверно советовать такой способ другим, потому что у вас этой ссылки не стоит, а у другого может запросто стоять, и ваш совет очень сильно навредит другому пользователю.

Ссылка на сообщение
Поделиться на других сайтах

Неверное понимание у вас. Мое правило в отличие от вашего правильнее, объясню почему. На восстановление пароля можно попасть двумя путями это http://dle-news.ru/index.php?do=lostpassword и второй путь это http://dle-news.ru/?do=lostpassword если поставить запрет так как вы вторая ссылка поисковиком проиндексируется, если поставить как я, то обе ссылки индексироваться не будут. Говоря простым и понятным языком "*" говорит поисковику: "все равно что стоит в URL до комбинации do=lostpassword не обращай на это внимание, для тебя важно только do=lostpassword"

Вот оно что, спасибо.

на заметку

Изменено пользователем maks1192
Ссылка на сообщение
Поделиться на других сайтах

Хотя мне лично все равно как у вас стоит, и будет ли ваш сайт в индексе, я лишь указал вам на возможную потерю сайта из индекса, а вы можете делать как хотите.

Подстраховаться не помешает. Спасибо

Ссылка на сообщение
Поделиться на других сайтах

Хех, ну и дискуссия. Роботс ТХТ вроде такой безобидный файл а неправильно составить и попрощаться со страничками в индексе =))

Disallow: /autobackup.php

Disallow: /statistics.html

Disallow: /favorites/

интересно зачем вы это все написали если поисковик никогда не пойдет по этим адресам, т.к. для него таких адресов попросту нет на странице. Идеальный файл это http://dle-news.ru/robots.txt и как следствие только нужные страницы в поисковике http://webmaster.yandex.ru/check.xml?hostname=http%3A%2F%2Fdle-news.ru

а если допустим какйнить неформал оставит ссылку на другом сайте допустим на те же самые фавориты. то что, она будет в индексе? если в роботсе она не прописанна вообще ? или в индекс попадают только те страницы, на которые есть ссылка с самого сайта ?

Ссылка на сообщение
Поделиться на других сайтах
  • 2 месяца спустя...

правилом Disallow: /index.php* вы запретили все, в том числе и главную страницу сайта, т.к.

Disallow: /index.php*

и

Disallow: /index.php

это абсолютно одинаковые для поисковиков правила.

а эсли вот так?

Disallow: /index.php?*

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...