robots.txt

[prikindel 255]

О том, как правильно составить robots.txt для DataLife Engine можно прочитать здесь.

левый там роботс.

есть лишнее, нет нужного. нашару составил

[FreeRider 8]

В 9.2 будет стандартный роботс.тхт

[fasol21 0]

Добавьте ещё:

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

[prikindel 255]

зачем?

Disallow: /backup/

Disallow: /language/

туда нет никаких ссылок откуда либо, с чего поисковику туда заходить?

а данная папка вообще не должна находиться на сервере

Disallow: /upgrade/

[fasol21 0]

зачем?

Disallow: /backup/

Disallow: /language/

туда нет никаких ссылок откуда либо, с чего поисковику туда заходить?

а данная папка вообще не должна находиться на сервере

Disallow: /upgrade/

Да, вообще-то всё верно. Про ссылки к ним я не подумал

Однако сейчас возник вопрос по папке /engine/. Ряд разработчиков привязывают свои модули к ней, например, Фотоальбомы от Red Rat, Викторина, Тотализатор, Доска объявлений от Izbranniy и т.д. Страницы на те же превью фото и пр. из фотоальбомов имеют ссылку вида _http://site.ru/engine/photo/...bla-bla../bla.jpg

Можно ли таким образом расписать роботс.txt:

Disallow: /engine/

Allow: /engine/photo*

Изменено 19 декабря 2010 пользователем fasol21