Удаление дублей страниц

[abasive 41]

вот нашел хорошую тему

При работе с оптимизацией сайта клиента сталкнулся недавно с такой проблемкой: дублирование адресов одной и той же страницы. что есть не хорошо для SEO. вообще, нет никакого секрета, как от этого избавиться. но, может, кому пригодится.

http://www.site.ru/ 

http://site.ru/ 

http://www.site.ru/index.html 

http://site.ru/index.html

Каждый из перечисленных выше вариантов распознается поисковыми системами как самостоятельная страница, отсюда идет дублирование контента одной и той же страницы по нескольким адресам, что не есть хорошо. поэтому, сделаем редирект дублей на ее основной адрес. для этого в файле .htaccess прописываем:

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site.ru

RewriteRule (.*) [url="http://www.site.ru$1"]http://www.site.ru$1[/url] [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ [url="http://www.site.ru"]http://www.site.ru[/url] [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ [url="http://www.site.ru"]http://www.site.ru[/url] [R=301,L]

Изменено 30 мая 2009 пользователем abasive

[lepus 1]

Это не единственная проблема. Например, страницы:

3-post.html

3-postt.html

............

все будут указывать на одну и ту же страницу, но для ПС они обрабатываются как разные страницы с одинаковым контентом, что приводит к дублированию и возможным "штрафам".

А таких страниц может быть бесконечно много.

Как бы вот с этим справиться...

[FreeRider 8]

Как бы вот с этим справиться...

Если вы нигде не укажите ссылку с 3-postt.html, то поисковик её никогда и не найдёт...

[TimaS 0]

куда его прописывать в начало или вконец?

[FreeRider 8]

куда его прописывать в начало или вконец?

впринципе без разницы, в конец пропишите...

[TimaS 0]

наверное что то не так делаю, у меня пишет 414 Request-URI Too Large, хотя лано мне это

[domenator 0]

Я уже год хожу вокруг да около ДЛЕ, но так и не решился использовать его на нормальных проектах, а всё из-за этих самых дублей:

http://dle-news.ru/release/1100-datalife-engine-v90-final-release.html

http://dle-news.ru/1100-datalife-engine-v90-final-release.html

http://dle-news.ru/release/1100-al-release.html

http://dle-news.ru/1100.html

http://dle-news.ru/vashe_pofig_4e_pisat/1100-glavnoe-eto-id-novosti.html

Разработчикам стоит призадуматься над реализацией ЧПУ.

[Fps-999 5]

Вот хорошая информация спасибо

[prikindel 255]

впринципе без разницы, в конец пропишите...

это надо прописывать в начале, сразу после "RewriteEngine On"

Разработчикам стоит призадуматься над реализацией ЧПУ.

откуда взяться нескольким вариантам ссылки? выберите 1 тип чпу и не парьтесь о дублях.

Изменено 16 сентября 2010 пользователем prikindel

[celsoft 6 076]

Я уже год хожу вокруг да около ДЛЕ, но так и не решился использовать его на нормальных проектах, а всё из-за этих самых дублей:

Если не будете играться с ЧПУ меняя их туда сюда, не будете использовать сторонние модули, которые не учитывают настроек скрипта, то и дублей никогда не будет, потому что сам скрипт дублей не генерирует, а поисковики индексируют только то что стоит на страницах, а не придумывают свои ссылки.

[prikindel 255]

выберите 1 тип чпу

на всякий случай уточняю : не первый тип, а именно один единственный

celsoft,

+1

[lepus 1]

Скрипт дублей не генерирует, а люди могут это делать случайно или умышленно, и в индексе будут появляться дублированные страницы.

А решением этой проблемы может быть проверка вводимого адреса страницы на соответствие с прописанным в базе ЧПУ для конкретной новости. Далее, если адреса различаются, то нужно делать перенаправление с кодом 301 на нужную страницу.

[Lomot 134]

Скрипт дублей не генерирует, а люди могут это делать случайно или умышленно, и в индексе будут появляться дублированные страницы.

Самое простое решение - поменять таких людей и запретить остальным выбирать адреса страниц. Движок с этой задачей справляется гораздо лучше людей.

Изменено 15 октября 2010 пользователем Lomot

[alex32 942]

Я за celsoftа, не надо лезть куда попало и все будет работать. Работает? не лезь! Сайты на этом движке нормально индексируются, хоть наберешь ты www.site.ru, или просто site.ru. Гуглу, по крайней мере, абсолютно все равно, наберет пользователь вэвэвэ или забудет. Ну а для СЕО, (для тех кто делает варезники) может просто поискать другой движок? Ведь DLE движок всего лишь новостной.... Не в обиду, сорри..

Изменено 17 октября 2010 пользователем alex32

[Langly 7]

Если не будете играться с ЧПУ меняя их туда сюда, не будете использовать сторонние модули, которые не учитывают настроек скрипта, то и дублей никогда не будет, потому что сам скрипт дублей не генерирует, а поисковики индексируют только то что стоит на страницах, а не придумывают свои ссылки.

Я все-таки поспорю.

Вы все правильно сказали, не меняйте, не ставьте ссылки итд.

А теперь ситуация, злоумышленник, решил завалить ваш сайт. Если у него чуть-чуть денег есть, которые не жалко(или у него говно так кипит, что он ребенка не накормит, но гадость сделает, маньяки всегда найдутся), то он может нагенерить подобных ссылок миллион, потом закупить этот же миллион ссылок на биржах и сайт свалится в бан из-за множества копий каждой страницы. По НЧ протянет стандартную кампанию. (Если вы считаете данный пост инструкцией для злоумышленников, можете его удалить, только примите к сведению)

Я на своих сайтах в .htaccess закрыл возможность использования всех остальных вариантов URL, кроме используемого в настройках.(Помните я вопрос задавал как-то?)

Я понимаю, что это больше для самоуспокоения, но глобально, в пределах движка надо это все как -то предусмотреть по умолчанию. Если я выбрал тип ссылок №2, например, то чтобы все другие варианты отдавали 404

Это не ИМХО. Это реально нужно, причем по-умолчанию.

Да, все я понимаю, как то да се закрыть или или... Но это должно быть по умолчанию в двиге забито. Это СЕО-безопасность, или защищенность.

Я так думаю.

Это не единственная проблема. Например, страницы:

3-post.html

3-postt.html

............

все будут указывать на одну и ту же страницу, но для ПС они обрабатываются как разные страницы с одинаковым контентом, что приводит к дублированию и возможным "штрафам".

А таких страниц может быть бесконечно много.

Как бы вот с этим справиться...

Могу довавить еще КУЧУ вариантов.

Собственно об этом речь.

PS Возможно просто написать статью, по аналогии статьи по снижению нагрузки на сервер поисковыми системами, где указывается как и что прописать в роботе, например, чтобы они сканили определенное кол-во. Ну нечто вроде. Лучший вариант, предусмотреть это в скрипте.

Изменено 18 октября 2010 пользователем Langly

[Langly 7]

Я опять вернулся, и хочу добавить.

Я не программер, я не знаю как, но по аналогии с простым комментированием строк в .htaccess, которые отвечают за вывод всех остальных вариантов чпу, кроме установленного в настройках скрипта, сделать, так же, невозможным работоспособность ссылок типа:

3-postt.html

ну и множество вариантов подобных.

Я НЕ ЗНАЮ КАК ЭТО СДЕЛАТЬ, И ВОЗМОЖНО ЛИ ЭТО.

Но хотелось бы, чтобы все другие, любые урлы, кроме выбранного в админке, просто отдавали 404.

Думаю, что, в принципе, это не так сложно, как я понимаю.

Изменено 18 октября 2010 пользователем Langly

[lepus 1]

Но хотелось бы, чтобы все другие, любые урлы, кроме выбранного в админке, просто отдавали 404.

Наличие большого количества страниц с ошибкой 404 резко понижает "ценность" сайта для ПС.

[Langly 7]

Но хотелось бы, чтобы все другие, любые урлы, кроме выбранного в админке, просто отдавали 404.

Наличие большого количества страниц с ошибкой 404 резко понижает "ценность" сайта для ПС.

А большое кол-во дублей?

Но здесь дело не в том, что они есть. Их нет. Но злоумышленник может сделат. Это просто для того, чтобы у него не получилось.

Изменено 19 октября 2010 пользователем Langly

[abasive 41]

А теперь ситуация, злоумышленник, решил завалить ваш сайт. Если у него чуть-чуть денег есть, которые не жалко(или у него говно так кипит, что он ребенка не накормит, но гадость сделает, маньяки всегда найдутся), то он может нагенерить подобных ссылок миллион, потом закупить этот же миллион ссылок на биржах и сайт свалится в бан из-за множества копий каждой страницы.

Откуда такая информация?

У вас есть сайт и вы топке на 2 месте, если так как вы написали можно сделать и с сайтом который на топ 1 он попадет в бан и вы будете на 1 месте. Помоему это бред

[prikindel 255]

www.site.ru, или просто site.ru

тут движок не причем

Гуглу, по крайней мере, абсолютно все равно, наберет пользователь вэвэвэ или забудет

не все равно, это разные урлы. для того, чтобы было все равно, надо либо прописывать в хтакчессе правило, либо в гугл.вебмастерс указывать

Ну а для СЕО, (для тех кто делает варезники) может просто поискать другой движок? Ведь DLE движок всего лишь новостной...

во-первых, сео и варезники, это совсем разные вещи.

во-вторых, дле это кмс, контент которого может быть абсолютно любым, как текстовым, графическим, музыкальным, видео, так и файловым.

в-третьих, в дле достаточно хорошо все подогнано под сео (за исключением лишь некоторых мелких моментов, типа одинаковых тайтлов в новостях с многостраничными комментариями).

так что не пишите бред, спасибо

касаемо же самой темы, я уже писал выше. не делайте дублей, и их не будет. используйте один тип чпу, используйте модули, которые берут настройки чпу из конфиг файла. тогда и проблем не будет.

[slon911 0]

касаемо же самой темы, я уже писал выше. не делайте дублей, и их не будет. используйте один тип чпу, используйте модули, которые берут настройки чпу из конфиг файла. тогда и проблем не будет.

Ну а никто и не делает специально...Но всякое бывает: кто-то сделал случайно ссылку на вас(посетителям не скажешь что когда ссылаешся надо не забыть про слешь в конце)вида /cat1, и все, эта страница будет в индексе.

Простой пример: Попал сейчас сайт на продвижение. На сайте несколько категорий, которые и нужно продвигать, а в индексе по 2 страницы на категорию /cat1/ и /cat1 . С точки зрения поисковика 2 разные страницы.

[prikindel 255]

кто-то сделал случайно ссылку на вас

как ваш пример относится к дублям появляющихся в ДЛЕ, о которых идет речь в теме?

[goldmania 0]

есть проблема в инструментах гула и яши ошибки 404 по адресам

/main/main/main/softgame

http://site.ru/main/skins/page/2/http://site.ru

http://site.ru/main/skins/page/3/http://site.ru

http://site.ru/main/skins/page/5/http://site.ru

где он берёт такого типа ссылки? как избавиться?

[celsoft 6 076]

goldmania,

некорректно поставлены относительные ссылки в файлах вашего шаблона.