Исключение из поиска

[inokentik 45]

Всем привет. В очередной раз задался новым вопросом. составления файла robots.txt но вот что не совсем понял.. В нем есть строки:

 

Disallow: /*subaction=newposts

Disallow: /newposts/

 

Как я понимаю это запрет, который мне и нужен, чтоб они не индексировались, но почему то в индексе яндекса есть странички типа:

 

Материалы за 06.05.2018 » Новинки Apple iPhone

 

Ведь по идее именно от этого и стоит запрет, как так? Или я чего то не правильно думаю или делаю? Заранее спасибо за совет!

А так же интересует, как правильнее исключить странички из облака тегов? Так?

 

Disallow: /tags/    или так?      Disallow: /tags  (без слеша)

[webair 178]

27 минут назад, inokentik сказал:

Всем привет. В очередной раз задался новым вопросом. составления файла robots.txt но вот что не совсем понял.. В нем есть строки:

 

Disallow: /*subaction=newposts

Disallow: /newposts/

 

Как я понимаю это запрет, который мне и нужен, чтоб они не индексировались, но почему то в индексе яндекса есть странички типа:

 

Материалы за 06.05.2018 » Новинки Apple iPhone

 

Ведь по идее именно от этого и стоит запрет, как так? Или я чего то не правильно думаю или делаю? Заранее спасибо за совет!

А так же интересует, как правильнее исключить странички из облака тегов? Так?

 

Disallow: /tags/    или так?      Disallow: /tags  (без слеша)

Disallow: /2017/

Disallow: /2018/

Disallow: /2019/

[Captain 624]

Disallow: /tags/   # с ЧПУ
Disallow: /index.php?do=tags   # без ЧПУ

https://webmaster.yandex.ru/tools/robotstxt/

[inokentik 45]

18 часов назад, webair сказал:

Disallow: /2017/

Disallow: /2018/

Disallow: /2019/

Спасибо, сделал по вашему примеру!

17 часов назад, Captain сказал:

Disallow: /tags/   # с ЧПУ
Disallow: /index.php?do=tags   # без ЧПУ

https://webmaster.yandex.ru/tools/robotstxt/

И тебе спасибо!) Тоже сделал!