Помогите п-та настроить robots.txt

[Zelderon 0]

Здравствуйте, вот мой robots.txt мой сайт liura.ru

самое что меня больше всего беспокоит это то что robots.txt не блокирует для гугла одну страницу, а яндекс блокирует, вот эту страницу http://liura.ru/forum/osnovy/ в вебмастерах когда проверяешь яндекс норм блокирует, а гугл пишет что разрешен. У меня прописано так Disallow: /forum/osnovy

да и вообще посмотрите пожалуйста мой роботс, какие есть замечания?

User-agent: Mediapartners-Google

Disallow:

Crawl-delay: 10

Disallow: /engine/go.php

Disallow: /forum/osnovy

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=addblog

Disallow: /*do=addginekolog

Disallow: /*do=addyurist

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://liura.ru/sitemap.xml

User-agent: Yandex

Crawl-delay: 10

Disallow: /engine/go.php

Disallow: /forum/osnovy

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=addblog

Disallow: /*do=addginekolog

Disallow: /*do=addyurist

Disallow: /*do=stats

Disallow: /*do=pm

Host: liura.ru/

в юзер агент вписал Googlebot и вроде заработало

а по остальному что можно добавить, что убрать? Например вот Mediapartners-Google нужна? Гугл адсенс начал жаловатся, решил поставить

[valorius 0]

Не понятно, зачем писать одно и тоже для яндекса и гугла отдельно.

Mediapartners-Google - бот адсенсе, если запретите, то на запрещенных страницах не будет показана реклама.

[gigabyte 0]

Здравствуйте, вот мой robots.txt мой сайт liura.ru

самое что меня больше всего беспокоит это то что robots.txt не блокирует для гугла одну страницу, а яндекс блокирует, вот эту страницу http://liura.ru/forum/osnovy/ в вебмастерах когда проверяешь яндекс норм блокирует, а гугл пишет что разрешен. У меня прописано так Disallow: /forum/osnovy

да и вообще посмотрите пожалуйста мой роботс, какие есть замечания?

Лучше оставить стандартный robots, который был после установки, т.к. там самые грамотные настройки на мое мнение!

Изменено 17 июля 2013 пользователем gigabyte

[Zelderon 0]

Не понятно, зачем писать одно и тоже для яндекса и гугла отдельно.

Mediapartners-Google - бот адсенсе, если запретите, то на запрещенных страницах не будет показана реклама.

то есть мне надо сделать

User-agent: Mediapartners-Google

User-agent: Googlebot

так что ли? Или через запятую?

[gigabyte 0]

Не понятно, зачем писать одно и тоже для яндекса и гугла отдельно.

Mediapartners-Google - бот адсенсе, если запретите, то на запрещенных страницах не будет показана реклама.

то есть мне надо сделать

User-agent: Mediapartners-Google

User-agent: Googlebot

так что ли? Или через запятую?

Если вы хотите написать инструкции для всех роботов то делайте так

User-agent: *

Инструкции для всех роботов

[DeeMon 73]

Crawl-delay: 10

для Google не действует если что