CMS DataLife Engine - Система управления сайтами

Sign in to follow this  
Scumtron2009

Дублирование контента

Recommended Posts

Могу сказать, если не написано в документации ПС. Это не значит что на дубли, title, description и т.д. ПС смотрит сквозь пальцы. ПС имеют много не писанных законов, о которых особенно google очень размыто, скрыто, под контекстно, упоминает. Наверно это связанно с тем что в интернете говно сайтов, наверное 80%. И если давать очень подробные описания, требования, ту же документацию. То говно сайты ещё в большей мере будут соответствовать требованием ПС, чем нормальные (с полезной информацией) сайты. А всё по потому что создатели говно сайтов, имеют намного больше времени чтобы копировать контент, соответствовать последним тенденциям ПС, SEO и другой хрени... В то время как издатели информативных сайтов, собирают контент, пишут статьи. Они не имеют времени ковыряться в SEO помойке...

А результат таков: ты написал интересную статью, разместил на сайте. Завтра, а может уже и сегодня, твою статью спиздили сотни раз, и в итоге в выдачи ПС ты далеко в жопе :unsure: Этими проблемами завалены все форумы google, на всех языках.

Извините за мат, но без него не возможно.

Share this post


Link to post
Share on other sites

veb74,

Оно не дублируется а при разных ситуациях разное, например новости на главной и новости за день это разные ситуации. Это на dle-news.ru контент не десятки раз в день добавляется, его немного, поэтому и текст в данном случае одинаков.

Речь идет про Дублирование контента.

Речь уже идет о бзиках, для людей нужно сайты делать и проблем не будет и поисковики все прекрасно будут индексировать. С подобным отношением вообще сайты лучше не делать если нервно все время думать о поисковиках. Примет ли он это предложение за дубль или нет. Почему то у dle-news.ru нет проблем с поисковиками, вопрос почему? Потому что он для людей, а не для того чтобы выше подняться в поисковиках или еще где. В итоге он и в поисковиках на высоких рангах и люди его посещают потому что хотят, а не потому что туда они поисковиками загоняются.

Уважаемый celsoft!

Извините, конечно, но вы тут со своими клиентами разговариваете. Вам указали на конкретный баг, который чрезвычайно неприятен. Нас мало волнуют позиции и индексация сайта dle-news.ru, для нас важно решение данного конкретного бага. Ваши слова о том, что дублирующий контент не вредит сайту, мне, как оптимизатору, просто смешны :) Поверьте, вредит и очень сильно. Вам даже конкретно написали позиция яндекса по этому поводу. То что одновременно таки урлы могут попасть в индекс - также факт, проверенный на многих сайтах. не обязательно для индексации иметь внутреннюю ссылку, хватает и внешней на кривой урл. Ваш косяк в движке открывает возможность для недобросовестных конкурентов гадить сайтам на ДЛЕ. Так что давайте исправляйте это, пожалуйста. За ваш продукт мы платили деньги и хотим видеть адекватную поддержку, а не отсылание непонятно куда.

Share this post


Link to post
Share on other sites

Ваши слова о том, что дублирующий контент не вредит сайту, мне, как оптимизатору, просто смешны Поверьте, вредит и очень сильно.

Вы видимо предпочитаете не читать того что вам пишут, помойму я очень четко написал, что поисковик индексирует только то что стоит на вашем сайте, и те ссылки которые стоят на вашем сайте, DLE не генерирует ссылок дубликатов и на сайте по вине скрипта они появиться не могут и соответственно не могут появиться в индексе поисковика. И я писал именно это, и где вы в этих словах нашли то что я писал про невредность дублирующего конента мне непонятно. И не нужно выдирать цитаты из конента, написанного совсем по другому поводу, и переделывать его по отношению к себе.

То что одновременно таки урлы могут попасть в индекс - также факт, проверенный на многих сайтах. не обязательно для индексации иметь внутреннюю ссылку, хватает и внешней на кривой урл. Ваш косяк в движке открывает возможность для недобросовестных конкурентов гадить сайтам на ДЛЕ.

Не буду вас переубеждать в этом, т.к. это бессмысленно, т.к. лишь одно это предложение не соответствует действительности, поэтому спорить с этим тоже бессмысленно. То что внешняя ссылка может попасть в индекс это верно, а вот про то что нагадить этим как то сайту, или то что это страница будет участвовать в индексе по обычному поисковому запросу, и будет показываться вместо оригинальной, это ерунда придуманная вами или прочитанная где либо и не более того. Прочитайте http://forum.dle-news.ru/index.php?showtopic=55132&view=findpost&p=270374

Извините, конечно, но вы тут со своими клиентами разговариваете.

И что? Я в отличие от некоторых никому никогда не хамлю, не грублю. А отвечаю на вопросы по конретному "якобы" багу, если ответы не устраивают, то попросту не нужно в таком случае спрашивать и писать. Я лично не собираюсь подстраиваться и писать глупости только для того чтобы они вам понравились, я пишу и излагаю факты. Свои слова я подтвеждаю реальным состоянием дел и тысячами сайтов на DLE, а вы ничем кроме эмоций. Поэтому прочитайте тему от начала и до конца внимательно, в ней все очень подробно расписано и про отношение и рекомендации яндекса и чего они касаются и прочее

Share this post


Link to post
Share on other sites

Уважаемый celsoft!

А можете указать, где я вам хамил? Отсылка к http://forum.dle-news.ru/index.php?showtopic=55132&st=0&p=270374&#entry270374, извините, не состоятельна, т.к. там ничем, кроме своих эмоциональных высказываний, вы не подтвердили отсутствие проблемы с подобными дублями страниц.

В любом случае, была озвучена проблема с вашим софтом, был озвучен вопрос о том, когда эта проблема будет решена. нам интересны ответы на данные вопросы, а никак не ваши познания в поисковых технологиях.

Share this post


Link to post
Share on other sites

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Share this post


Link to post
Share on other sites

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

Share this post


Link to post
Share on other sites

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

ну так всякие редиски этот недостаток и используют чтобы навредить сайту

генерируются тысячи линков вида:

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra1

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra2

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra3

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra4

и так далее

и скармливаются поисковикам

если бы вы продвигали свой сайт то вам бы была понятна эта проблема, а так мне непонятно почему вы упираетесь и не хотите добавить в стандартный дистрибутив скрипта защиту от подобных махинаций, тем более мы не просим что-то нереальное

Share this post


Link to post
Share on other sites

по прежнемо очень хочется чтобы стандартно в движке вместо несуществующих адресов такого типа отдавалось 404

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra

Вообще то это страница существует. 404 отдается только для несуществующих страниц, и то что вы дописали не делает страницу несуществующей. Что кстати DLE и делает.

ну так всякие редиски этот недостаток и используют чтобы навредить сайту

генерируются тысячи линков вида:

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra1

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra2

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra3

http://dle-news.ru/pressrelease/1335-datalife-engine-v93-press-release.html?abrakadabra4

и так далее

и скармливаются поисковикам

если бы вы продвигали свой сайт то вам бы была понятна эта проблема, а так мне непонятно почему вы упираетесь и не хотите добавить в стандартный дистрибутив скрипта защиту от подобных махинаций, тем более мы не просим что-то нереальное

Таким способом уже навредили мой сайт, и вылетил из топки

Share this post


Link to post
Share on other sites

abasive,

возможно от такой напасти поможет canonical ?

Share this post


Link to post
Share on other sites

Хочу немного добавить основную проблему дублей. Я не спец, но всё же: Конкретная страница с новостью имеет допустим 6 разных адресов. Поисковая машина в любом случае индексирует и проверяет все страници. А значит на одну страницу времени уходит в 6 раз больше + то время пока поисковая машина определится, какую именно в первую очередь добавить страницу в индекс на ту или иную позицию. И по этому процесс замедляется, сайт индексируется в несколько раз медленнее. Отсюда такой момент: К примеру у нас всего 2-е новости на сайте. одна в топ 10, другая ещё не вошла в индекс. Пока вторая попала в топ 10, первая уже давно сдала позиции, получается "шаг в перёд, 2 назад". Я это написал, т.к столкнулся с этой проблемой.

Share this post


Link to post
Share on other sites

Я не спец, но всё же: Конкретная страница с новостью имеет допустим 6 разных адресов.

в DLE страница с новостью имеет только один адрес, и откуда вы взяли 6 адресов непонятно?

Share this post


Link to post
Share on other sites

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

(На категорию)

http://Site.ru/avto/

http://Site.ru/index.php?do=cat&category=avto/

www.Site.ru

www.Site.ru/index.php?do=cat&category=avto/

(На новость)

http://site.ru/avto/641-pervaya-peredacha.html

http://site.ru/10/10/2010

www.site.ru/avto/641-pervaya-peredacha.html

www.site.ru/10/10/2010

Ещё они доступны через облако тегов.

Ну теги и календарь можно в роботс.txt запретить. А как быть с остальными?

Edited by Denwer

Share this post


Link to post
Share on other sites

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

ничего не вот, скрипт DLE вообще не генерирует подобных ссылок, это вы в своем шаблоне ставите разные ссылки и должны следить за ними в своих шаблонах. Тоже самое и по другим ссылкам. DLE генерирует ссылку всегда в одном единственном варианте. а не подобными пречеслениями, и делает одни ссылки слешами, другие нет. А поисковики индексируют только те ссылки, которые он находит на вашем сайте, а не придумывает свои. Поэтому за ссылками со слешеми и без и прочее, вы должны следить в своих шаблонах. Со стороны DLE скрипт разные ссылки не генерирует.

Share this post


Link to post
Share on other sites

abasive,

возможно от такой напасти поможет canonical ?

Не в том дело, были проиндексированы неправильные url. Я написал Платону, исправили.

Share this post


Link to post
Share on other sites

вот:

(На главную)

http://Site.ru/

http://Site.ru/index.html

http://Site.ru/index.php

www.Site.ru/

www.Site.ru/index.html

www.Site.ru/index.php

ничего не вот, скрипт DLE вообще не генерирует подобных ссылок, это вы в своем шаблоне ставите разные ссылки и должны следить за ними в своих шаблонах. Тоже самое и по другим ссылкам. DLE генерирует ссылку всегда в одном единственном варианте. а не подобными пречеслениями, и делает одни ссылки слешами, другие нет. А поисковики индексируют только те ссылки, которые он находит на вашем сайте, а не придумывает свои. Поэтому за ссылками со слешеми и без и прочее, вы должны следить в своих шаблонах. Со стороны DLE скрипт разные ссылки не генерирует.

dle 9.2 шаблон стандартный default(родной) Главная страница доступна:

http://www.site.ru/index.php

http://www.site.ru/

http://site.ru/index.php

http://site.ru/

Если это не генерация, то что это?

Share this post


Link to post
Share on other sites

dle 9.2 шаблон стандартный default(родной) Главная страница доступна:

http://www.site.ru/index.php

http://www.site.ru/

http://site.ru/index.php

http://site.ru/

Если это не генерация, то что это?

вообще то в шаблоне там и стоят и такие и такие ссылки. И это не какая не генерация, это я так поставил, потому я не считаю проблемой и в своем шаблоне я ставлю по своему усмотрению, а не по вашему, т.к. это мой шаблон, а не ваш. Стандартный шаблон в скрипте предназначен для того чтобы продемонстрировать работу скрипта DLE, а не для того чтобы вы его копировали себе на сайт без каких измений, если вас что то не устраивает в стандартном шаблоне, исправляйте его под свои нужды как вам хочеться, никто не запрещает вам редактировать шаблон или создавать свой шаблон.

Вы путаете, то что пишется в шаблоне в ручную с тем что генерирует скрипт DLE. Так вот это написано в шаблоне вручную, а не генерируется скриптом DLE. И в стандартном шаблоне вообще все ссылки например меню ведут в никуда, потому что при установке скрипта еще нет реального контента. И под свои нужды вебмастер должен править шаблон самостоятельно, убирая все лишнее и добавляя нужное. А про приставку www к домену, т.к. это вообще алиас, который в панели управления хостинга добавляется и удаляется, если вы не хотите чтобы ваш сайт был доступен по алиасу www

Share this post


Link to post
Share on other sites

Ну ясно. А подсказать не можете в каком месте в шаблоне можно устранить другие ссылки? Стандартный шаблон я не использую, это для эксперемента было

Share this post


Link to post
Share on other sites

А подсказать не можете в каком месте в шаблоне можно устранить другие ссылки? Стандартный шаблон я не использую, это для эксперемента было

Там где вы их поставили, я на этот вопрос вам ответить не могу, я же не делал ваш шаблон, поэтому я не знаю, где и что у вас стоит.

поисковики ходят только по тем ссылкам, которые они нашли на вашем сайте, где именно они у вас на сайте, я сказать не могу. Я могу лишь сказать исключительно про скрипт DLE и генерацию ссылок именно скриптом DLE, он разных ссылок на одно и ту же страницу не генерирует. Он генерирует всегда одну и ту же ссылку, а не каждый раз разные.

Share this post


Link to post
Share on other sites

Ну вот не проще ли исправить указанную проблему, чем бодаться на трех страницах уже?

Share this post


Link to post
Share on other sites

Ну вот не проще ли исправить указанную проблему

Проблемы просто напросто нет.

Share this post


Link to post
Share on other sites

ну так у вас вот вижу нет проблем вообще. Однако на сайте dle-news.ru решили как-то проблему 301 редиректом, но не делитесь со всеми.

Выложили бы код что надо внести в htaccess и делов то.

Share this post


Link to post
Share on other sites

Vladimir1997,

обновитесь до версии DLE 9.3 в таком случае.

Обсуждение "проблем" и багов проходит только по актуальной версии скрипта.

Share this post


Link to post
Share on other sites

Давно не заглядывал в инструменты для вебмастеров в гугле и сегодня надыбал в Конфигурации сайта -> Настройки раздел "Обработка параметров", который, думаю поможет отчасти решить проблему дублей в гугле.

Edited by - Den -

Share this post


Link to post
Share on other sites

На стольких страницах воду льете <_<

Поставьте только первый тип ЧПУ. И снесите все, кроме:

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]

RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

И не будет никакого дублирования, все так поголовно и делают, ну кроме разработчиков...

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this