robots.txt

[veprj 0]

Удивляюсь почему до сих пор в поставке движка нет robots.txt ведь не все папки должны индексировать пауки (а то даже личные данные индексят) приходиться ставить самому. Так почему бы его не включить вместе с версией движка.Уж celsoft то должен знать какие запретить папки какие нет.

[Voltick 0]

папки роботы не индексируют, они индексируют общедоступные данные твоего сайта,

либо вот почитай: _http://www.webalta.net/ru/about_webmaster_index.html

[blagoy_vip 7]

папки роботы не индексируют, они индексируют общедоступные данные твоего сайта,

либо вот почитай: _http://www.webalta.net/ru/about_webmaster_index.html

Если не отключить листинг папок, то гугль проиндесирует их содержимое, у меня такое было. А robots.txt никто за вас делать не будет, могу дать пример:

User-agent: *

Disallow: /engine/

Disallow: /templates/

Disallow: /language/

Disallow: /admin.php

Disallow: /register.html

Disallow: /feedback.html

Disallow: /lostpassword.html

Host: сайт.ru

[kvasoff 0]

Какие директории и файлы нужно исключить? dle 5.2

Чпу-выкл. если это имеет значение...

[dojino 0]

Скрытый текст

Какие директории и файлы нужно исключить? dle 5.2

Какие директории и файлы нужно исключить? dle 5.3

Присоединяюсь!

В других CMS понятно что исключать, а в DLE честно говоря я запутался.

Дайте ответ: какая директория за что отвечает.

Изменено 9 марта 2007 пользователем dojino

[bedd 2]

Ребят, скажите пожалуйста как все таки правильно и хорошо оформить robots.txt?

Вот так сойдет?

User-agent: *

Disallow: /engine/

Disallow: /templates/

Disallow: /language/

Disallow: admin.php

Host: gala.alive.in.ua

[bedd 2]

[achilles 0]

User-agent: *

Disallow: /engine/

Disallow: /templates/

Disallow: /language/

Disallow: /admin.php

Disallow: /register.html

Disallow: /feedback.html

Disallow: /lostpassword.html

Host: сайт.ru

Я бы еще добавил:

Disallow: /user/

Disallow: /index.php?do=

И убрать: Disallow: /admin.php !

User-agent: *

Disallow: /engine/

Disallow: /templates/

Disallow: /language/

Disallow: /admin.php

Disallow: /register.html

Disallow: /feedback.html

Disallow: /lostpassword.html

Host: сайт.ru

Я бы еще добавил:

Disallow: /user/

Disallow: /index.php?do=

И убрать: Disallow: /admin.php !

[lifestar 18]

нафиг вам сдался этот robots.txt ?

Разьве что закрывать от конкретных поисковиков..

А так..

Если не отключить листинг папок, то гугль проиндесирует их содержимое,

так не отключайте))

[bedd 2]

По моему он там встроенный

[Гость]

<#thank#>

[ogloed 0]

User-agent: *

Disallow: /engine/

Disallow: /templates/

Disallow: /language/

Host: www.site.ru

помоему этого минимального набора должно хватить, как вы думаете?