Новые правила обработки директив Allow и Disallow в файлах robots.txt (7.03.2012)

[ower_xz 117]

Для сведения, кто еще не видел...

Новые правила обработки директив Allow и Disallow в файлах robots.txt

7.03.2012

Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.

--

С уважением,

Яндекс.Вебмастер

http://webmaster.yandex.ru