Перейти к публикации

Рекомендованные сообщения

Добрый день. Имеется файл robots.txt


User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=stats

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=addnews

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Host: your.site

Sitemap: http://your.site/sitemap.xml

Скажите, стоит ли закрывать от ПС такие страницы?

Disallow: /2010/

Disallow: /2011/

Disallow: /tags/

Disallow: /page/


Disallow: /page/

Disallow: */page/

Ссылка на сообщение
Поделиться на других сайтах

Ну смотрите сами, если дублируются, то стоит.

Я себе еще вот такие добавил:

Disallow: /engine/go.php

Disallow: /engine/images.php

Disallow: /engine/opensearch.php

Disallow: /engine/download.php

Disallow: /newposts/

Disallow: /statistics.html

  • Поддерживаю 1
Ссылка на сообщение
Поделиться на других сайтах
  • 6 месяцев спустя...

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
×
×
  • Создать...