странные страницы в индексе...

[stalk 3]

День добрый!

Появились странные страницы в индексе...

вот такого вида site.ru/page/242/?/tag/

Содержимое файла .htaccess

DirectoryIndex index.php

php_flag output_buffering off

php_value display_errors 1

RewriteEngine On

#Dude smart leech

# Dude Smart Leech

RewriteRule ^getgame$ engine/dude/index/leech_out.php [L]

#NextGame

RewriteRule ^game(/?)$ index.php?do=game [L]

RewriteRule ^game/page/([0-9+])(/?)$ index.php?do=game&page=$1 [L]

RewriteRule ^game/([0-9]+)(/?)$ index.php?do=game&about_app=$1 [L,QSA]

#NextGame

# Редиректы

RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Сам пост

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]

RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]

RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]

RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]

RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]

RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1&seourl=$2 [L]

# За день

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]

# За весь месяц

RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]

# Вывод за весь год

RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]

RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]

# вывод отдельному тегу

RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]

RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]

# поиск по доп полям

RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]

RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]

# вывод для отдельного юзера

RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]

RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]

# вывод всех последних новостей

RewriteRule ^lastnews/(/?)+$ index.php?do=lastnews [L]

RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]

# вывод в виде каталога

RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]

# вывод непрочитанных статей

RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]

RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]

# вывод избранных статей

RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]

RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]

RewriteRule ^statistics.html$ index.php?do=stats [L]

RewriteRule ^addnews.html$ index.php?do=addnews [L]

RewriteRule ^rss.xml$ engine/rss.php [L]

RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]

RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]

RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]

RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]


# правильный редирект на главную страницу

RewriteCond %{HTTP_HOST} ^www.site.ru [NC]

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ / [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ / [R=301,L][/html]

Где может быть ошибка? что исправить, чтобы странные страницы исчезли из индекса и не появлялись?

Изменено 18 апреля 2012 пользователем stalk

[stalk 3]

Под словом tag в примере ссылки - я имел ввиду, что там подставляется название ТЕГОВ, какие есть на сайте..

[celsoft 6 055]

Появились странные страницы в индексе... вот такого вида site.ru/page/242/?/tag/

ищите на страницах своего сайта некорректные относительные ссылки, которые начинаются с ? а не как положено с http://.... ошибки могут быть как в шаблонах, так и в новостях, так и в комментариях

[stalk 3]

Проверил - нет таких ссылок ни в БД.. ни в шаблонах..

Плюс методом тыка если подставить вместо TAG - любой набор символов - то тоже открывается страница...

Объясню подробнее: http://dle-news.ru/page/3/?/rrr/ - открывается 3-я страница сайта... Хотя по идее должно выдавать 404...

Логично?

Точно также можно плодить дубли

http://dle-news.ru/modules/page/4/?/qqqq/ - тоже работает...

Может стоит составить правило для .htaccess- чтоб не было этих дублей?

[stalk 3]

Интересно - все считают нормальным такой баг движка, когда URL и страницы фактически не существует, а движок не отдает 404 ошибку?

Может я чего-то недопонимаю? =)

или никто не понимает отрицательную важность вышеописанной ошибки?...

[celsoft 6 055]

Плюс методом тыка если подставить вместо TAG - любой набор символов - то тоже открывается страница... Объясню подробнее: http://dle-news.ru/page/3/?/rrr/ - открывается 3-я страница сайта... Хотя по идее должно выдавать 404... Логично? Точно также можно плодить дубли

Конечно откроется, потому как ? это не новый адрес страницы это динамический параметр текущей страницы в данном случае http://dle-news.ru/page/3/ динамический параметр можно дописать к любому сайту на любом скрипте. http://www.yandex.ru/ и http://www.yandex.ru/?/rrr/ как видите никакой 404 ошибки и так можно сделать на любом без исключения сайте.

Может я чего-то недопонимаю? =)

Может стоит составить правило для .htaccess- чтоб не было этих дублей?

Вы недопонимаете. От динамических параметров нет правил htaccess, как я и писал для любого сайта можно дописать несуществующие динамические параметры и они могут быть какими угодно. И какой либо проблемы они не представляют, и вы делаете проблему из несуществующего.