Дублирование контента

[vovackaz 0]

Могу сказать, если не написано в документации ПС. Это не значит что на дубли, title, description и т.д. ПС смотрит сквозь пальцы. ПС имеют много не писанных законов, о которых особенно google очень размыто, скрыто, под контекстно, упоминает. Наверно это связанно с тем что в интернете говно сайтов, наверное 80%. И если давать очень подробные описания, требования, ту же документацию. То говно сайты ещё в большей мере будут соответствовать требованием ПС, чем нормальные (с полезной информацией) сайты. А всё по потому что создатели говно сайтов, имеют намного больше времени чтобы копировать контент, соответствовать последним тенденциям ПС, SEO и другой хрени... В то время как издатели информативных сайтов, собирают контент, пишут статьи. Они не имеют времени ковыряться в SEO помойке...

А результат таков: ты написал интересную статью, разместил на сайте. Завтра, а может уже и сегодня, твою статью спиздили сотни раз, и в итоге в выдачи ПС ты далеко в жопе Этими проблемами завалены все форумы google, на всех языках.

Извините за мат, но без него не возможно.

[zusul 0]

veb74,

Оно не дублируется а при разных ситуациях разное, например новости на главной и новости за день это разные ситуации. Это на dle-news.ru контент не десятки раз в день добавляется, его немного, поэтому и текст в данном случае одинаков.

Речь идет про Дублирование контента.

Речь уже идет о бзиках, для людей нужно сайты делать и проблем не будет и поисковики все прекрасно будут индексировать. С подобным отношением вообще сайты лучше не делать если нервно все время думать о поисковиках. Примет ли он это предложение за дубль или нет. Почему то у dle-news.ru нет проблем с поисковиками, вопрос почему? Потому что он для людей, а не для того чтобы выше подняться в поисковиках или еще где. В итоге он и в поисковиках на высоких рангах и люди его посещают потому что хотят, а не потому что туда они поисковиками загоняются.

Уважаемый celsoft!

Извините, конечно, но вы тут со своими клиентами разговариваете. Вам указали на конкретный баг, который чрезвычайно неприятен. Нас мало волнуют позиции и индексация сайта dle-news.ru, для нас важно решение данного конкретного бага. Ваши слова о том, что дублирующий контент не вредит сайту, мне, как оптимизатору, просто смешны Поверьте, вредит и очень сильно. Вам даже конкретно написали позиция яндекса по этому поводу. То что одновременно таки урлы могут попасть в индекс - также факт, проверенный на многих сайтах. не обязательно для индексации иметь внутреннюю ссылку, хватает и внешней на кривой урл. Ваш косяк в движке открывает возможность для недобросовестных конкурентов гадить сайтам на ДЛЕ. Так что давайте исправляйте это, пожалуйста. За ваш продукт мы платили деньги и хотим видеть адекватную поддержку, а не отсылание непонятно куда.

[celsoft 6 067]

Ваши слова о том, что дублирующий контент не вредит сайту, мне, как оптимизатору, просто смешны Поверьте, вредит и очень сильно.

Вы видимо предпочитаете не читать того что вам пишут, помойму я очень четко написал, что поисковик индексирует только то что стоит на вашем сайте, и те ссылки которые стоят на вашем сайте, DLE не генерирует ссылок дубликатов и на сайте по вине скрипта они появиться не могут и соответственно не могут появиться в индексе поисковика. И я писал именно это, и где вы в этих словах нашли то что я писал про невредность дублирующего конента мне непонятно. И не нужно выдирать цитаты из конента, написанного совсем по другому поводу, и переделывать его по отношению к себе.

То что одновременно таки урлы могут попасть в индекс - также факт, проверенный на многих сайтах. не обязательно для индексации иметь внутреннюю ссылку, хватает и внешней на кривой урл. Ваш косяк в движке открывает возможность для недобросовестных конкурентов гадить сайтам на ДЛЕ.

Не буду вас переубеждать в этом, т.к. это бессмысленно, т.к. лишь одно это предложение не соответствует действительности, поэтому спорить с этим тоже бессмысленно. То что внешняя ссылка может попасть в индекс это верно, а вот про то что нагадить этим как то сайту, или то что это страница будет участвовать в индексе по обычному поисковому запросу, и будет показываться вместо оригинальной, это ерунда придуманная вами или прочитанная где либо и не более того. Прочитайте http://forum.dle-news.ru/index.php?showtopic=55132&view=findpost&p=270374

Извините, конечно, но вы тут со своими клиентами разговариваете.

И что? Я в отличие от некоторых никому никогда не хамлю, не грублю. А отвечаю на вопросы по конретному "якобы" багу, если ответы не устраивают, то попросту не нужно в таком случае спрашивать и писать. Я лично не собираюсь подстраиваться и писать глупости только для того чтобы они вам понравились, я пишу и излагаю факты. Свои слова я подтвеждаю реальным состоянием дел и тысячами сайтов на DLE, а вы ничем кроме эмоций. Поэтому прочитайте тему от начала и до конца внимательно, в ней все очень подробно расписано и про отношение и рекомендации яндекса и чего они касаются и прочее

[zusul 0]

Уважаемый celsoft!

А можете указать, где я вам хамил? Отсылка к http://forum.dle-news.ru/index.php?showtopic=55132&st=0&p=270374&#entry270374, извините, не состоятельна, т.к. там ничем, кроме своих эмоциональных высказываний, вы не подтвердили отсутствие проблемы с подобными дублями страниц.

В любом случае, была озвучена проблема с вашим софтом, был озвучен вопрос о том, когда эта проблема будет решена. нам интересны ответы на данные вопросы, а никак не ваши познания в поисковых технологиях.

[Kons 0]

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

[celsoft 6 067]

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

[Kons 0]

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

ну так всякие редиски этот недостаток и используют чтобы навредить сайту

генерируются тысячи линков вида:

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra1

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra2

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra3

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra4

и так далее

и скармливаются поисковикам

если бы вы продвигали свой сайт то вам бы была понятна эта проблема, а так мне непонятно почему вы упираетесь и не хотите добавить в стандартный дистрибутив скрипта защиту от подобных махинаций, тем более мы не просим что-то нереальное

[abasive 41]

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

ну так всякие редиски этот недостаток и используют чтобы навредить сайту

генерируются тысячи линков вида:

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra1

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra2

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra3

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra4

и так далее

и скармливаются поисковикам

если бы вы продвигали свой сайт то вам бы была понятна эта проблема, а так мне непонятно почему вы упираетесь и не хотите добавить в стандартный дистрибутив скрипта защиту от подобных махинаций, тем более мы не просим что-то нереальное

Таким способом уже навредили мой сайт, и вылетил из топки

[prikindel 255]

abasive,

возможно от такой напасти поможет canonical ?

[Denwer 0]

Хочу немного добавить основную проблему дублей. Я не спец, но всё же: Конкретная страница с новостью имеет допустим 6 разных адресов. Поисковая машина в любом случае индексирует и проверяет все страници. А значит на одну страницу времени уходит в 6 раз больше + то время пока поисковая машина определится, какую именно в первую очередь добавить страницу в индекс на ту или иную позицию. И по этому процесс замедляется, сайт индексируется в несколько раз медленнее. Отсюда такой момент: К примеру у нас всего 2-е новости на сайте. одна в топ 10, другая ещё не вошла в индекс. Пока вторая попала в топ 10, первая уже давно сдала позиции, получается "шаг в перёд, 2 назад". Я это написал, т.к столкнулся с этой проблемой.

[celsoft 6 067]

Я не спец, но всё же: Конкретная страница с новостью имеет допустим 6 разных адресов.

в DLE страница с новостью имеет только один адрес, и откуда вы взяли 6 адресов непонятно?

[Denwer 0]

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

(На категорию)

http://Site.ru/avto/

http://Site.ru/index.php?do=cat&category=avto/

www.Site.ru

www.Site.ru/index.php?do=cat&category=avto/

(На новость)

http://site.ru/avto/641-pervaya-peredacha.html

http://site.ru/10/10/2010

www.site.ru/avto/641-pervaya-peredacha.html

www.site.ru/10/10/2010

Ещё они доступны через облако тегов.

Ну теги и календарь можно в роботс.txt запретить. А как быть с остальными?

Изменено 21 мая 2011 пользователем Denwer

[celsoft 6 067]

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

ничего не вот, скрипт DLE вообще не генерирует подобных ссылок, это вы в своем шаблоне ставите разные ссылки и должны следить за ними в своих шаблонах. Тоже самое и по другим ссылкам. DLE генерирует ссылку всегда в одном единственном варианте. а не подобными пречеслениями, и делает одни ссылки слешами, другие нет. А поисковики индексируют только те ссылки, которые он находит на вашем сайте, а не придумывает свои. Поэтому за ссылками со слешеми и без и прочее, вы должны следить в своих шаблонах. Со стороны DLE скрипт разные ссылки не генерирует.

[abasive 41]

abasive,

возможно от такой напасти поможет canonical ?

Не в том дело, были проиндексированы неправильные url. Я написал Платону, исправили.

[Denwer 0]

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

ничего не вот, скрипт DLE вообще не генерирует подобных ссылок, это вы в своем шаблоне ставите разные ссылки и должны следить за ними в своих шаблонах. Тоже самое и по другим ссылкам. DLE генерирует ссылку всегда в одном единственном варианте. а не подобными пречеслениями, и делает одни ссылки слешами, другие нет. А поисковики индексируют только те ссылки, которые он находит на вашем сайте, а не придумывает свои. Поэтому за ссылками со слешеми и без и прочее, вы должны следить в своих шаблонах. Со стороны DLE скрипт разные ссылки не генерирует.

dle 9.2 шаблон стандартный default(родной) Главная страница доступна:

http://www.site.ru/index.php

http://www.site.ru/

http://site.ru/index.php

http://site.ru/

Если это не генерация, то что это?

[celsoft 6 067]

dle 9.2 шаблон стандартный default(родной) Главная страница доступна:

http://www.site.ru/index.php

http://www.site.ru/

http://site.ru/index.php

http://site.ru/

Если это не генерация, то что это?

вообще то в шаблоне там и стоят и такие и такие ссылки. И это не какая не генерация, это я так поставил, потому я не считаю проблемой и в своем шаблоне я ставлю по своему усмотрению, а не по вашему, т.к. это мой шаблон, а не ваш. Стандартный шаблон в скрипте предназначен для того чтобы продемонстрировать работу скрипта DLE, а не для того чтобы вы его копировали себе на сайт без каких измений, если вас что то не устраивает в стандартном шаблоне, исправляйте его под свои нужды как вам хочеться, никто не запрещает вам редактировать шаблон или создавать свой шаблон.

Вы путаете, то что пишется в шаблоне в ручную с тем что генерирует скрипт DLE. Так вот это написано в шаблоне вручную, а не генерируется скриптом DLE. И в стандартном шаблоне вообще все ссылки например меню ведут в никуда, потому что при установке скрипта еще нет реального контента. И под свои нужды вебмастер должен править шаблон самостоятельно, убирая все лишнее и добавляя нужное. А про приставку www к домену, т.к. это вообще алиас, который в панели управления хостинга добавляется и удаляется, если вы не хотите чтобы ваш сайт был доступен по алиасу www

[Denwer 0]

Ну ясно. А подсказать не можете в каком месте в шаблоне можно устранить другие ссылки? Стандартный шаблон я не использую, это для эксперемента было

[celsoft 6 067]

А подсказать не можете в каком месте в шаблоне можно устранить другие ссылки? Стандартный шаблон я не использую, это для эксперемента было

Там где вы их поставили, я на этот вопрос вам ответить не могу, я же не делал ваш шаблон, поэтому я не знаю, где и что у вас стоит.

поисковики ходят только по тем ссылкам, которые они нашли на вашем сайте, где именно они у вас на сайте, я сказать не могу. Я могу лишь сказать исключительно про скрипт DLE и генерацию ссылок именно скриптом DLE, он разных ссылок на одно и ту же страницу не генерирует. Он генерирует всегда одну и ту же ссылку, а не каждый раз разные.

[Vladimir1997 0]

Ну вот не проще ли исправить указанную проблему, чем бодаться на трех страницах уже?

[WebSet 74]

Ну вот не проще ли исправить указанную проблему

Проблемы просто напросто нет.

[Vladimir1997 0]

ну так у вас вот вижу нет проблем вообще. Однако на сайте dle-news.ru решили как-то проблему 301 редиректом, но не делитесь со всеми.

Выложили бы код что надо внести в htaccess и делов то.

[WebSet 74]

Vladimir1997,

обновитесь до версии DLE 9.3 в таком случае.

Обсуждение "проблем" и багов проходит только по актуальной версии скрипта.

[- Den - 32]

Давно не заглядывал в инструменты для вебмастеров в гугле и сегодня надыбал в Конфигурации сайта -> Настройки раздел "Обработка параметров", который, думаю поможет отчасти решить проблему дублей в гугле.

Изменено 12 июня 2011 пользователем - Den -

[maro 1]

На стольких страницах воду льете

Поставьте только первый тип ЧПУ. И снесите все, кроме:

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]

RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

И не будет никакого дублирования, все так поголовно и делают, ну кроме разработчиков...