lineup 5 Опубликовано: 24 декабря 2012 Рассказать Опубликовано: 24 декабря 2012 Добрый день. Имеется файл robots.txt User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?subaction=newposts Host: your.site Sitemap: http://your.site/sitemap.xml Скажите, стоит ли закрывать от ПС такие страницы? Disallow: /2010/ Disallow: /2011/ Disallow: /tags/ Disallow: /page/ Disallow: /page/ Disallow: */page/ Цитата Ссылка на сообщение Поделиться на других сайтах
Adobe 111 Опубликовано: 24 декабря 2012 Рассказать Опубликовано: 24 декабря 2012 Ну смотрите сами, если дублируются, то стоит. Я себе еще вот такие добавил: Disallow: /engine/go.php Disallow: /engine/images.php Disallow: /engine/opensearch.php Disallow: /engine/download.php Disallow: /newposts/ Disallow: /statistics.html 1 Цитата Ссылка на сообщение Поделиться на других сайтах
stasreg2 0 Опубликовано: 29 июня 2013 Рассказать Опубликовано: 29 июня 2013 Подсккажите пожалуйста, как закрыть в robots.txt пагинацию всех полных новостей? Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.