Дублирование контента

[Scumtron2009 5]

Уважаемый представитель Celsoft, мне как клиенту интересен вопрос о том, когда вы решите проблему с дублями страниц в поисковых системах из за не правильно запрограммированного ЧПУ. Вам об этом известно.

Например, вот эта страница доступна по нескольким адресам:

dle-news.ru/index.php?newsid=1219

dle-news.ru/1219-datalife-engine-v92-final-release.html

dle-news.ru/2011/01/03/datalife-engine-v92-final-release.html

Есть еще такого рода проблема, например страница fatall.org/151344-v-plenu-last-day-of-summer-2009-dvdrip.html

может быть доступна по адресу:

fatall.org/что угодно/151344-v-plenu-last-day-of-summer-2009-dvdrip.html

и

fatall.org/что угодно/151344-v-plenu-last-что-угодно-day-of-summer-2009-dvdrip.html

Так же страницы и каталоги, могут быть доступны со знаком "/", так и без онного, что тоже влечет за собой дублирование контента.

например: lfiles.net/index.php?newsid=2121/

Все это по ошибке оптимизатора или злому умыслу недоброжелателей, может попасть в индекс поисковых систем и породить дубли контента, из за которых, с высокой долей вероятности, можно схлопотать бан или фильтр в поисковых системах. Ведутся ли какие нибудь работы в этом направлении?

Изменено 20 марта 2011 пользователем Scumtron2009

[celsoft 6 067]

Контроль ЧПУ будет введен в новых версиях, но вовсе не по причинам о которых вы пишите, а для более быстрой переиндексации при смене категорий или ссылки, или адреса ЧПУ

Непонятно одно кто пишет глупости про баны из-за дублей, слешей, приписок в URL. На любом сайте можно приписать что угодно в URL и как угодно. Пусть вот яндекс сам себя и забанит за ссылки:

http://www.yandex.ru/?page=odin/

http://www.yandex.ru/?page=dva/

http://www.yandex.ru/?page=tri/

Все они ведут на одну страницу и я могу придумать и дописать еще миллион страниц и ссылок и так к каждому сайту и на любом движке.

[Kons 0]

Пусть вот яндекс сам себя и забанит за ссылки:http://www.yandex.ru/?page=odin/http://www.yandex.ru/?page=dva/http://www.yandex.ru/?page=tri/Все они ведут на одну страницу и я могу придумать и дописать еще миллион страниц и ссылок и так к каждому сайту и на любом движке.

Сам себя он банить не будет =), а вот сайт из топа может легко выкинуть если вылезет в индекс пара десятков таких дублей, очень хотелось бы чтобы вы реализовали 404 ошибку при подстановке любых левых параметров в урл.

[celsoft 6 067]

Сам себя он банить не будет =)

И другие тоже, где в яндексе указано что будет бан или понижение релевантности? Читайте http://help.yandex.ru/webmaster/?id=995298

Где хоть слово о понижении релевантности в данном вопросе? Зато сайты обвешенные порно попандерами после бана, почему то начинают считать, что да это точно наверняка бан из-за слеша.Так что если вы об этом пишите, то давайте пруф линк, а не то что вы где то непонятно прочитали. Где в документации яндкекса сказано что за дубли бан или снижение релевантности. Конкретно приведите ссылку на документацию Яндекса, а не на чьи либо домыслы.

[FreeRider 8]

А что за контроль ЧПУ будет введён? Можно поподробнее?)))

[Kons 0]

Где в документации яндкекса сказано что за дубли бан или снижение релевантности. Конкретно приведите ссылку на документацию Яндекса, а не на чьи либо домыслы.

конкретная ссылка http://help.yandex.ru/webmaster/?id=1108949

Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

Движок сайта. Следите за корректностью работы программного обеспечения сайта — ошибки в скриптах сайта могут привести к тому, что одни и те же страницы при переходе на них из разных разделов будут иметь разные адреса. Это может негативно отразиться на индексировании сайта.

это не домыслы, а проверенный факт

[celsoft 6 067]

Kons,

Движок сайта. Следите за корректностью работы программного обеспечения сайта — ошибки в скриптах сайта могут привести к тому, что одни и те же страницы при переходе на них из разных разделов будут иметь разные адреса. Это может негативно отразиться на индексировании сайта.

Скрипт DLE не генерирует на разных страницах разные URL, и это не домыслы а факт, а дописать в URL и проспамить ссылки на других сайтах, можно к любому сайту и на любом движке, и как это делается я указал выше. То это не значит что сайт будет понижен в релевантности или будет забанен. И это не домыслы а факт, и вы мешаете мух с котлетами. В данном разделе идет речь о информации размещенной на индексируемом сайте, а не про спам ссылки на других сайтах. Они не имеют релеватности, т.к. корректный дубль страницы уже находится в индексе поисковика, и взятый по корректным ссылкам на самом индексируемом сайте.

И например вы не увидите на сайте dle-news.ru одновременно ссылки

dle-news.ru/index.php?newsid=1219

dle-news.ru/1219-datalife-engine-v92-final-release.html

dle-news.ru/2011/01/03/datalife-engine-v92-final-release.html

по одной простой причине что их нет, есть только одна, а две другие вы дописываете уже в URL руками, а не находите на сайте, и переходите по ним. Это большая и принципиальная разница.

[Kons 0]

а две другие вы дописываете уже в URL руками, а не находите на сайте, и переходите по ним. Это большая и принципиальная разница.

это не мешает злоумышленникам гадить сайту, добавляя в индекс все эти дубли, включая вариант с ...?jhgdjhfg

[veb74 10]

И например вы не увидите на сайте dle-news.ru одновременно ссылки

Да. Это хорошо.

Скрипт DLE не генерирует на разных страницах разные URL,

Как же так?

По переходу в Архив новостей (одна страница)

И по ссылке с главной (другая страница)

получаем

dle-news.ru/2011/01/03/datalife-engine-v92-final-release.html

dle-news.ru/1219-datalife-engine-v92-final-release.html

Только что добавил сайты в яндекс и там уже ссылки обоих типов имеются

Будет ли от этого хуже - не знаю. Поэтому отключил Архив.

[celsoft 6 067]

Как же так?

По переходу в Архив новостей (одна страница)

И по ссылке с главной (другая страница)

получаем

dle-news.ru/2011/01/03/datalife-engine-v92-final-release.html

dle-news.ru/1219-datalife-engine-v92-final-release.html

где на сайте вы это увидели? Ни в архиве ни в календаре на сайте dle-news.ru нет ссылки dle-news.ru/2011/01/03/datalife-engine-v92-final-release.html и никогда не было

[veb74 10]

Извините, не проверил.

Но ведь содержимое коротких новостей дублируется - это вы не можете отрицать.

Дорогие друзья,

Представляем вам новую версию нашего скрипта DataLife Engine v.9.2. В данном релизе вас ожидают новые полезные разделы в админпанели скрипта, новые возможности онлайн редактора шаблонов, автоматическое уведомление большинства поисковых систем о новой карте сайта, несколько новых ББ тегов, и многое другое, но обо всем подробнее ...

http://dle-news.ru/release/

на главной

вывод с архива http://dle-news.ru/2011/01/

Речь идет про Дублирование контента.

[celsoft 6 067]

veb74,

Оно не дублируется а при разных ситуациях разное, например новости на главной и новости за день это разные ситуации. Это на dle-news.ru контент не десятки раз в день добавляется, его немного, поэтому и текст в данном случае одинаков.

Речь идет про Дублирование контента.

Речь уже идет о бзиках, для людей нужно сайты делать и проблем не будет и поисковики все прекрасно будут индексировать. С подобным отношением вообще сайты лучше не делать если нервно все время думать о поисковиках. Примет ли он это предложение за дубль или нет. Почему то у dle-news.ru нет проблем с поисковиками, вопрос почему? Потому что он для людей, а не для того чтобы выше подняться в поисковиках или еще где. В итоге он и в поисковиках на высоких рангах и люди его посещают потому что хотят, а не потому что туда они поисковиками загоняются.

[zlobusz 0]

Проблема реально существует, а целсофтовцы отписываются детскими отписками мол: "Отстаньте, сами хз как решить эту проблему..."

Из-за этого дублированного контента, мой сайт был признан гуглом как ГС, я больше года потратил на борьбу с левыми страницами и до сих пор толком не могу реабилитироваться в глазах Google, а вы тут какие-то доказательство требуете. Дублированные контент - есть зло и имхо единственный недостаток DLE, из-за которого я кстати до сих пор и не приобретаю лицензию. Задумайтесь над этим, ребята, и взгляните на детский лепет который вы несете в этой теме!

Изменено 4 апреля 2011 пользователем zlobusz

[WebSet 74]

Из-за этого дублированного контента, мой сайт был признан гуглом как ГС

А можно глянуть сайт?

Если это очередной говно варез, тогда я не удивляюсь. Копипаст тоже может привести к фильтрам. Продажа ссылок и прочее и прочие факторы - тоже.

[Danila 8]

Речь идет про Дублирование контента.

Именно!

Где в документации яндкекса сказано что за дубли бан или снижение релевантности. Конкретно приведите ссылку на документацию Яндекса, а не на чьи либо домыслы.

конкретная ссылка http://help.yandex.ru/webmaster/?id=1108949

Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

Движок сайта. Следите за корректностью работы программного обеспечения сайта — ошибки в скриптах сайта могут привести к тому, что одни и те же страницы при переходе на них из разных разделов будут иметь разные адреса. Это может негативно отразиться на индексировании сайта.

это не домыслы, а проверенный факт

Точно!

а две другие вы дописываете уже в URL руками, а не находите на сайте, и переходите по ним. Это большая и принципиальная разница.

это не мешает злоумышленникам гадить сайту, добавляя в индекс все эти дубли, включая вариант с ...?jhgdjhfg

Да. Такое бывает, особенно на коммерческих сайтах. Со мной такое же было, случайно в выдаче нашел старицы site.ru/12-sdf.html пришлось в роботс.тхт помещать disallow: -sdf.html Но это не панацея.

Проблема реально существует

Согласен!

Будем надеяться, что проблема решится также как с облаком тегов. Celsoft долго не хотел его добавлять в ДЛЕ.

Изменено 6 апреля 2011 пользователем Danila

[zlobusz 0]

WebSet, на что вы рассчитывали задавая такой вопрос? Это не очередной говноварез, весь контент делаю я в ручную, ссылки с сайта никогда не продавались. Это трафиковый сайт, а не говно сплог. И уж поверьте, если бы мой сайт был забанен за что-то другое, я бы знал об этом и не стал бы писать сюда голословно. Я уже не первый год в сети работаю и знаю о чем говорю. А учить СДЛ делать вы будете детишек в детском саду. Не в СДЛах счастье. У всех мастеров которых я знаю, которые делают больше 5к р./сутки вообще нет СДЛов, задумайтесь...

[WebSet 74]

А учить СДЛ делать вы будете детишек в детском саду

Хорошо, но я думаю раз вы там рассуждаете, то должны понимать, что если не описав все, что описано выше, на моем месте вы бы могли подумать то же самое.

И целсофт уже объявил, что данная проблема будет решена в след. релизе.

[celsoft 6 067]

И уж поверьте, если бы мой сайт был забанен за что-то другое, я бы знал об этом и не стал бы писать сюда голословно.

Как раз таки ничем иным кроме как голословностью вы не занимаетесь. Есть документация по яндексу, есть рекомендации по яндексу. Нигде ее слова не сказано что сайт попадет в бан по данным причинам, есть факты что сам скрипт дубликатов не делает и одинаковых ссылок на страницах нет, от того что кто то попытается сам проспамить ссылку на других ресурсах, бана тоже не будет и это тоже факт. А от вас лишь слова, не ссылки на сайт, не подтверждения ваших слов от поисковика, ничего, сплошная голословность.

Дублированные контент - есть зло и имхо единственный недостаток DLE, из-за которого я кстати до сих пор и не приобретаю лицензию.

И этот человек будет рассказывать сказки про свой профессионализм, и про 5к р./сутки, смешно. Человек неспособный даже лицензию приобрести за 1600 в год, и пишет о каких то принципах. Если мне что то не нравиться или не устраивает, я не пользуюсь этим из принципа, а не ворую из принципа.

[prikindel 255]

Но ведь содержимое коротких новостей дублируется - это вы не можете отрицать.

хмм.. в каком движке происходит иначе?

имхо, именно данное явление, присуще всем абсолютно движкам

в том же вордпрессе, например

[veb74 10]

Последний вопрос и я отваливаю из этой темы.

Короткая новость - 1000 знаков,

Полная новость - эти же 1000 знаков + карта яндекса + 100 новых знаков

В этом случае будет дубликат?

[celsoft 6 067]

Короткая новость - 1000 знаков,

Полная новость - эти же 1000 знаков + карта яндекса + 100 новых знаков

В этом случае будет дубликат?

нет дубликатом не будет, но страница будет малорелевантной, по причине того что роботы индексируют только текст, откидывая весь мусор, например карта яндекса для робота мусор, он ее не индексирует и будет выкидывать ее из индекса. Останется только 1000 знаков плюс еще 100 знаков, робот ее проиндексирует, но не факт что именно эта страница будет выводиться при поиске. Все будет зависить от поискового запроса, если в нем не будет ничего из этих дополнительных 100 знаков, то страница скорее всего не будет показана в результатах, а будет показа страница где краткая новость.

[Scumtron2009 5]

И другие тоже, где в яндексе указано что будет бан или понижение релевантности? Читайте http://help.yandex.ru/webmaster/?id=995298

Где хоть слово о понижении релевантности в данном вопросе? Зато сайты обвешенные порно попандерами после бана, почему то начинают считать, что да это точно наверняка бан из-за слеша.Так что если вы об этом пишите, то давайте пруф линк, а не то что вы где то непонятно прочитали. Где в документации яндкекса сказано что за дубли бан или снижение релевантности. Конкретно приведите ссылку на документацию Яндекса, а не на чьи либо домыслы.

Может хватит истерить? Проблема есть и я вам на нее указал, а если вы считаете, это все бред, то зачем вы у себя на сайте поставили хак, который редиректит на правильный урл, при не правильном запросе? Кстати, CMS Джумла и Вордпресс этим не страдают и при неправильном запросе отдают ошибку 404.

Изменено 8 апреля 2011 пользователем Scumtron2009

[veb74 10]

ппц .. карта яндекса для яндекса мусор

дебилизм какой-то

Там же ссылка на их сервис стоит ещё, Сделано при помощикартяндекс.

[celsoft 6 067]

Может хватит истерить?

Истерика у вас, у меня ее нет.

а если вы считаете, это все бред, то зачем вы у себя на сайте поставили хак, который редиректит на правильный урл, при не правильном запросе?

Пользуйтесь поиском, периодически я пишу что появиться в новых версиях и по каким причинам. А на dle-news.ru всегда и во все времена проходила обкатка и проверка всего нового что будет в новой версии скрипта и на нем проходит обкатка новой версии скрипта, а не какие то хаки на нем поставили, по причине вашей истерики.

[llbarmenll 18]

Напишите в саппорт яндекса за что был бан или агс и они вам ответят. Еще не разу не слышал что бы причиной был дубликат ссылок.