Перейти к публикации

Рекомендованные сообщения

Добрый день. Имеется файл robots.txt


User-agent: *

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=stats

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=addnews

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Host: your.site

Sitemap: http://your.site/sitemap.xml

Скажите, стоит ли закрывать от ПС такие страницы?

Disallow: /2010/

Disallow: /2011/

Disallow: /tags/

Disallow: /page/


Disallow: /page/

Disallow: */page/

Ссылка на сообщение
Поделиться на других сайтах

Ну смотрите сами, если дублируются, то стоит.

Я себе еще вот такие добавил:

Disallow: /engine/go.php

Disallow: /engine/images.php

Disallow: /engine/opensearch.php

Disallow: /engine/download.php

Disallow: /newposts/

Disallow: /statistics.html

Ссылка на сообщение
Поделиться на других сайтах
  • 6 месяцев спустя...

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...