Перейти к публикации

Как правильно прописать в robots.txt


Рекомендованные сообщения

Привет всем!

Подскажите, как правильно составить файл robots.txt , если ссылки на сайте без ЧПУ?

Как вот этот роботс будет выглядеть для сайта без ЧПУ:

User-Agent: *

Crawl-delay: 5

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://сайт.ru/sitemap.xml

Allow: /

Ссылка на сайт: тут

Спасибо заранее!

Изменено пользователем sanek131287
Ссылка на сообщение
Поделиться на других сайтах

!!! Первым делом переименнуй admin.php и срочно удали его из роботс, т.к. роботс может посмотреть любой пользователь.

С autobackup.php сделай тоже самое.

Это с ЧПУ:

Disallow: /user/

Disallow: /favorites/

Disallow: /statistics.html

Остальное по принципу /index.php?do=register

Наведи на ссылку которую нужно закрыть и и увидишь адрес.

Allow: /

Sitemap: http://твой сайт/sitemap.xml

Host: www.твой сайт.ру

(с www или без, зависит от того по какому адресу продвигаешь сайт, для выдачи в поисковиках)

Изменено пользователем Captain
Ссылка на сообщение
Поделиться на других сайтах

ок, спасибо, кое что я понял.. но меня вот интересует вот что:

с ЧПУ ссылка на профиль пользователя будет такой: сайт.ру/user/ВасяПупкин

без ЧПУ ссылка на профиль будет такой: сайт.ру/index.php?subaction=userinfo&user=ВасяПупкин

как мне прописать в роботсе, чтобы закрыть все профили от индексации, а не только Васи Пупкина

Ссылка на сообщение
Поделиться на других сайтах

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

На сайте вообще будет что-то индексироваться?

Ссылка на сообщение
Поделиться на других сайтах

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

я тоже так думаю, но хотелось бы знать точно...

На сайте вообще будет что-то индексироваться?

всмысле?

Ссылка на сообщение
Поделиться на других сайтах

Мне почему-то показалось, что ты всё закрываешь от индексации :(

Ссылка на сообщение
Поделиться на других сайтах

да нет, не все конечно... на сайте что должно индексироваться? Новости, да и только... всякие профили и т.д - ни к чему индексировать... а навости у меня идут с ссылкой сайт.ру/index.php?newsid=1234

Ссылка на сообщение
Поделиться на других сайтах

Наверное так:

Disallow: /index.php?subaction=userinfo&user=

Я думаю так:

Disallow: /index.php?subaction=userinfo&user=*

Хотя все равно наверно

Изменено пользователем Captain
Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...