Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. (баг ДЛЕ?)

[HolySong 1]

364 проблемы ...

Вот мой роботс, ну никак не пойму как я его могу блокировать. Это баг ДЛЕ?

User-agent: *

Disallow: /2014/

Disallow: /2013/

Disallow: /tags/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

User-agent: *

Disallow: /engine/download.php

Disallow: /engine/go.php

Disallow: /user/

Disallow: /to/?

Disallow: /newposts/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /favorites/

Disallow: /tags/

Disallow: /*page/

Disallow: /page/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*print

Disallow: /*userinfo

Disallow: /index.php?subaction=userinfo

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /index.php?do=rules

Host: http://iz.com.ua/

Sitemap: http://iz.com.ua/sitemap.xml

[Sarvan 35]

Половина из того, что у вас закрыто просто не нужно, ПС не регистрируются и не авторизовываются на сайте, по этому и так не доступно для них.

[HolySong 1]

Убрал лишнее что повторяется. Но так что никто ничего не подскажет?

User-agent: *

Disallow: /engine/download.php

Disallow: /engine/go.php

Disallow: /user/

Disallow: /to/?

Disallow: /newposts/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /favorites/

Disallow: /tags/

Disallow: /*page/

Disallow: /page/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*print

Disallow: /*userinfo

Disallow: /index.php?subaction=userinfo

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /index.php?do=rules

Host: http://iz.com.ua/

Sitemap: http://iz.com.ua/sitemap.xml

[odys 384]

Это баг ДЛЕ?

в sitemap.xml содержатся ссылки на категории и новости, а также статические страницы, которые не скрыты. Ни как не могу понять о каких URL идёт речь?

[celsoft 6 076]

Вот мой роботс, ну никак не пойму как я его могу блокировать. Это баг ДЛЕ?

Нет. Это не баг DLE, а ваши собственные баги в файле robots.txt

смотрим главную страницу вашего сайта в рубрике "Мнения" стоят ссылки типа http://iz.com.ua/201...tu.html#comment а теперь смотрим на robots.txt и в строчке Disallow: /2013/ видим что вы блокируете любые URL начинающиеся с /2013/ и т.д. При использовании вами данного типа ЧПУ не должно быть никаких Disallow: /2013/ и прочих с годами, или должна быть строчка

Disallow: /2013/$

http://help.yandex.r...asterisk-dollar

[HolySong 1]

Подскажите в этом случае если я выполню Disallow: /2013/$ , Disallow: /2014/$. У меня календарь будет закрыть от индексирования? или как мне лучше всего сделать?

[celsoft 6 076]

Подскажите в этом случае если я выполню Disallow: /2013/$ , Disallow: /2014/$. У меня календарь будет закрыть от индексирования? или как мне лучше всего сделать?

Будет закрыта одна конкретная страница от индексации http://iz.com.ua/2013/ или http://iz.com.ua/2014/

[HolySong 1]

Как мне решить этот вопрос? мне нужно чтобы все нормально индексировалось и небыло ошибок в гугл вебмастер

Изменено 30 сентября 2014 пользователем HolySong

[Captain 623]

Судя по вашему robots, то так:

User-agent: *

Disallow: /user/

Disallow: /newposts/

Disallow: /engine/

Disallow: /templates/

Disallow: /favorites/

Disallow: /tags/

Disallow: /page/

Disallow: /index.php?subaction=userinfo

Disallow: /index.php?subaction=newposts

Disallow: /index.php?do=rules

Host: iz.com.ua

Sitemap: http://iz.com.ua/sitemap.xml

В шаблоны принтов лучше добавить тег, а не запрещать в DLE и robots:

<meta name="robots" content="noindex,nofollow" />[/code]

Sitemap

Host и Sitemap не актуальны, если сайт в Google и Яндекс вебмастерах, там указывается.

или

http://alaev.info/blog/post/3900

Изменено 1 октября 2014 пользователем Captain

[HolySong 1]

Удалил строки

Disallow: /2014/

Disallow: /2013/

Заново залил роботс и предоставил сайтмеп