Потеря контента

[AshaS 2]

Вобщем уже нету сил. Помогите и подскажите. Уже встретила единомышленика.

Теряется контент сайта!!!!!!!!!!!

Сначало я думала что чтото во мне или в поисковых системах, но сегодня встерила сообщение по обсуждению сегодншних действий яндекса и это стало каплей, которое преполнило моё терпение.

На моём сайте, я размещаю исключительно свои статьи или статьи написанные для меня под заказ. Всё нормально индексируется и я вверху по поиску, если ввести этот текст. Но стоит комунибудь скоммуниздить статью или взять RSS ленту, то уник уже считается у них на сайте, а мой сайт пропадает из поля видемости. У меня сайт по кулинарии, и частенько разные дамы размещают мои статьи на других сайтах, и я быстро это вычесляю по поиску, так как мой сайт пропадает из поля видемости. Хорошо что есть ещё добросовестные админы, и после жалобы удоляют со своих сайтов мои статьи. Объясните мне пожалуйста, это проблема в ДЛЕ или в чёмто другом? Как бороться с этим?

И ещё по теме, Сейчас поставила на сайт скрипт от маркирования текста и отключения правой мышкой ( я знаю что кому надо , то тот посмотрит просто код страницы, но покарйне мере от некоторых домохозяек я попробую этим способом замедлить распростронения моего контента по интернету), так вот, как реагируют поисковики на этот скрипт?

Ах да, вот ссылка на подобную проблему что у меня:

Ах да, вот ссылка на подобную проблему что у меня

Изменено 22 декабря 2010 пользователем AshaS

[zgr 72]

К сожалению, с воровством контента бороться нельзя в принципе. Можно, конечно, изощрённые способы применить, типа подгрузки полной статьи через аякс, но это также ухудшит и результат индексации вашего сайта. Закрыв РСС, вы также лишите своих подписчиков удобностей. Просто грамотно оптимизируйте сайт, чем грамотней вёрстка и оптимизация, тем выше вероятность вашего сайта оказаться в топах - моё личное мнение.

[AshaS 2]

К сожалению, с воровством контента бороться нельзя в принципе. Можно, конечно, изощрённые способы применить, типа подгрузки полной статьи через аякс, но это также ухудшит и результат индексации вашего сайта. Закрыв РСС, вы также лишите своих подписчиков удобностей. Просто грамотно оптимизируйте сайт, чем грамотней вёрстка и оптимизация, тем выше вероятность вашего сайта оказаться в топах - моё личное мнение.

Кто занимается оптимизацией сайта и сколько это стоит?

Вот только что обнаружила свою статью на крупном сайте, с посещаемостью 15000 уников в день и тицом 1500. У меняя тиц только 100. Еслибы я взяла у них сататью, на менябы поднялся хай. А у меня сайт маленький и мол получается можно взять что угодно, ну уже достало это ыс!!!! обидно очень!!!! Спрашивается за что у них так накрученый ТиЦ? за то что воруют у всех контент? так как по этой статье я снова вылетила и тот сайт впереди планеты всей!

особенно умеляет их главная подпись под всем сайтом:

Все права на материалы, находящиеся на сайте www......com, охраняются в соответствии с законодательством Украины. При любом использовании материалов сайта, гиперссылка на www......com обязательна. Мнение редакции может не совпадать с мнением авторов.

Изменено 22 декабря 2010 пользователем AshaS

[celsoft 6 076]

Хорошо что есть ещё добросовестные админы, и после жалобы удоляют со своих сайтов мои статьи.

Это и есть ваша ошибка, вместо удаления нужно просить поставить лучше под новостью ссылку на ваш сайт, а не удалять, тем самым будете повышать вес своего сайта и иметь преимущества. А так как на вас никто не ссылается тематически, вы так и будете сыпаться в "поисковой песочнице".

Объясните мне пожалуйста, это проблема в ДЛЕ или в чёмто другом?

объясняю, вес вашего сайта ниже тех кто публикует ваши новости, поэтому в результатах будут они выше, а не вы. И никакие движки здесь роли не играют. Для повышения веса своего сайта, используйте белые способы раскрутки, и ни в коем случае серые схемы оптимизаторов. Это долго но надежно. Например если опубликовали вашу статью, попросите сайт поставить ссылку на вас. Ведь что такое ТИЦ? Это индекс тематического цитирования вашего сайта, на других сайтах. И он зависит от сайтов, которые ссылаются на ваш сайт. И чем больше таких сайтов, тем лучше для вас, т.к. они деляться своим весом с вами. Добавьте свой сайт в каталог яндекса, это даст преимущества в яндексе (правда это платно). Не пользуйтесь общедоступными сайтами каталогов, т.к. они из белых быстро переходят в черные.

Ах да, вот ссылка на подобную проблему что у меня

У вас что Sape стоит? Раз вы там смотрите. Удаляйте. ТИЦ яндекс и PR Google для сайтов с Sape ссылками, поисковики постоянно сбрасывают, т.к. ссылки за деньги крайне не приветствуются поисковиками. Этим вы можете жертвовать тогда, когда у вас будет приличный запас по весу страниц, на данный момент вы не можете себе этого позволить, если хотите быть выше в поисковиках, по сравнению с другими.

[AshaS 2]

Хорошо что есть ещё добросовестные админы, и после жалобы удоляют со своих сайтов мои статьи.

Это и есть ваша ошибка, вместо удаления нужно просить поставить лучше под новостью ссылку на ваш сайт, а не удалять, тем самым будете повышать вес своего сайта и иметь преимущества. А так как на вас никто не ссылается тематически, вы так и будете сыпаться в "поисковой песочнице".

Объясните мне пожалуйста, это проблема в ДЛЕ или в чёмто другом?

объясняю, вес вашего сайта ниже тех кто публикует ваши новости, поэтому в результатах будут они выше, а не вы. И никакие движки здесь роли не играют. Для повышения веса своего сайта, используйте белые способы раскрутки, и ни в коем случае серые схемы оптимизаторов. Это долго но надежно. Например если опубликовали вашу статью, попросите сайт поставить ссылку на вас. Ведь что такое ТИЦ? Это индекс тематического цитирования вашего сайта, на других сайтах. И он зависит от сайтов, которые ссылаются на ваш сайт. И чем больше таких сайтов, тем лучше для вас, т.к. они деляться своим весом с вами. Добавьте свой сайт в каталог яндекса, это даст преимущества в яндексе (правда это платно). Не пользуйтесь общедоступными сайтами каталогов, т.к. они из белых быстро переходят в черные.

Ах да, вот ссылка на подобную проблему что у меня

У вас что Sape стоит? Раз вы там смотрите. Удаляйте. ТИЦ яндекс и PR Google для сайтов с Sape ссылками, поисковики постоянно сбрасывают, т.к. ссылки за деньги крайне не приветствуются поисковиками. Этим вы можете жертвовать тогда, когда у вас будет приличный запас по весу страниц, на данный момент вы не можете себе этого позволить, если хотите быть выше в поисковиках, по сравнению с другими.

Нет, сэйпа у меня не стоит, это я пару лет назад пробавала, но удалила, когда поняла что это. А на форуме том иногда бываю, так как много интересного можно почитать. И я конечно не обращаю внимания, где стоят мои статьи с ссылками на меня. Я просто не пойму, почему мой контент постоянно вылетает, стоит комунибудь опубликовать такой-же текст, как и у меня. Если сайт выше по индексу, но опубликовал мою новость на месяц поззже. Тогда уникальность текста для поисковиков получается не важно, а? И что обозначает "серые схемы оптимизаторов"?

Изменено 23 декабря 2010 пользователем AshaS

[Azat868 2]

У меня часто воруют статьи по rss, есть даже граббер спец. для этого дела заточенный под DLE. Сначала не зная что делать по глупости писал админам, хостерам толку 0 от этого. Потом поставил хотлинк, в название изображений а также в саму статью начал добавлять url своего сайта. Очень правильно сказано "К сожалению, с воровством контента бороться нельзя в принципе".

[celsoft 6 076]

И что обозначает "серые схемы оптимизаторов"?

Вам лучше почитать http://forum.searchengines.ru/ полезный форум.

[AshaS 2]

Встретила в интернете обсуждения какойто программы Грабер для ДЛЕ, грабит как поняла контент. Как обезопасить себя от таких вот Граберей?

[Captain 623]

В основном, грабят через рсс, отключите. Панацеи от этого нет. На Серче (что выше ссылка) вам врядли помогут (или ДА), но почитав форум, можно ответить на свои вопросы.

[celsoft 6 076]

Как обезопасить себя от таких вот Граберей?

отключить сайт от интернета, других вариантов поверьте нет. Это я вам могу заявить абсолютно компетентно, даже не заморачивайтесь этим вопросом. Все что вы публикуете на сайте и то что видно всем, можно скопировать и перенести. Таковы принципы работы интернета и от движков тут абсолютно не зависит. А все попытки это создание неудобств обычным посетителям и самому себе, но никак не защита от того кто действительно захочет скопировать.

[zgr 72]

Встретила в интернете обсуждения какойто программы Грабер для ДЛЕ, грабит как поняла контент. Как обезопасить себя от таких вот Граберей?

Можно хитрый скрипт придумать, чтоб вычислить грабителей (в самой логике это довольно легко вычислить), если контент грабится через код html, а в канал RSS отдается только короткая новость (анонс), полную же вы можете либо только у себя на сайте показывать, либо скрыть через аякс, тогда будет нельзя ее никак скопировать из кода, а на сайте она появится только после полной загрузки страницы. Это позволит избежать автограббинга. Но защита не будет полной, лишь школоло отсечёт, а цена реализации вас может сильно удивить

Проверяем:

- ип,

- ЮА (Юзер-Агент),

- проверяем рефферер,

- пишем лог, если есть подозрения, проверяем затем лог на повторы и время, если они найдены, то блокируем ип, ЮА, реферрер...

- ...

П.С. Если б можно было написать защиту, то никто бы не парился на счёт вирусов-антивирусов, грабберов-антиграбберов... но задачку можно сильно усложнить ворам

П.П.С. Чтоб сильно не напрягаться, сделайте полный контент только для зарегистрированных пользователей, а для гостей - анонсы

П.П.П.С. Для ВП еще придумали такую муть: если ЮА поисковика, то отдаем ему правильный текст, иначе отдаём бла-бла английскими буквами и символами... Прикол в том, что поисковики индексируют правильный текст и ранжируют его, а вот пользователи будут видеть обычный читаемый бла-бла, который индексироваться не будет. Например, половина букв рус. и англ. языка совпадают, но поисковики не могут съесть такие слова, т.е. все буквы рус. текста заменяем англ. буквами, сравните: у, к, е, (З - буква и 3 - цифра), в, а, р, о, с, м, т.

Как-то делал простенькую такую защиту - работает на ура, но текст всё равно копируют так или иначе, просто с поисковиками работать проще становится. Но... на это нужны большие ресурсы сервера.

[celsoft 6 076]

- ип,

- ЮА (Юзер-Агент),

- проверяем рефферер,

- пишем лог, если есть подозрения, проверяем затем лог на повторы и время, если они найдены, то блокируем ип, ЮА, реферрер...

Даже стандартный импорт, который есть в DLE использует агент браузера пользователя, а рефералом выставляет сайт источник. И на основе чего лог строить? Что с такого то IP посмотрелось 5 новостей в сутки? Это делает каждый посетитель сайта, можно смело всех банить.

П.П.П.С. Для ВП еще придумали такую муть: если ЮА поисковика, то отдаем ему правильный текст, иначе отдаём бла-бла английскими буквами и символами...

Эта технология называется поисковым клоакингом, за это домен попадает в 100% бан поисковика, если такие механизмы обнаруживаются. А со временем они всегда обнаруживаются, то потом после попадания в бан, можно потом будет очень долго и как правило безуспешно переписываться с поисковиком по выходу из бана, т.к. они не заморачиваются вопросами, о целях по которым вы это делали.

[zgr 72]

Эта технология называется поисковым клоакингом, за это домен попадает в 100% бан поисковика, если такие механизмы обнаруживаются.

Так и есть, но это уже проблема вора, поскольку поисковики будут видеть нормальный текст, а не "бла-бла".

П.С. Реферал появляется при переходе, а не граббинге, т.е. если простенький граббер использует такую конструкцию:

$get = file_get_contents('http://www.example.com/');

То откуда возьмётся реферрер? Он только при переходе, а раз перехода нет, то контент либо грабится, либо кто-то вбил адрес новости в браузер, ну, очень сомнительно, что много людей именно так сайты читают, вбивая по памяти современные мега-длинные урлы. Это всего лишь как один из вариантов проверки. Также сомнительно, что каждый день в одно и тоже время один и тот же юзер будет смотреть одни и те же данные, т.е. главную страницу или какие-то категории и больше ничего, вот такие подозрительные действия и можно отслеживать автоматом и в случае чего банить, тем более, что ипы сайтов всегда статичны, - у меня один из сайтов уже 2 года на одном и том же хостинге с одним и тем же ипом - запрос получения контента можно отследить, даже если генерировать разные ЮА, имхо

Ну и как я писал выше, это не решит проблемы, но усложнит автограббинг, тем более, что пользователи будут читать "бла-бла", а поисковики нормальный текст.

[celsoft 6 076]

Так и есть, но это уже проблема вора, поскольку поисковики будут видеть нормальный текст, а не "бла-бла".

Нет, это проблема не вора, а того кто ставит эту технологию. забанят его, а не вора. т.к. сайты периодически проверяются поисковиками и не с агентом поискового робота и при различиях, домен идет в бан.

По поводу всего остального изучите CURL http://php.net/manual/en/book.curl.php, это вы думаете что контент можно получить только функцией file_get_contents, а на самом деле это не так, существуют более расширенные методы. И ни один из грабберов, которые я видел, не используют file_get_contents. Как по вашему DLE при импорте новостей умеет проводить авторизацию на сайте при необходимости, при том если источник может находится на любом движке. Не функцией file_get_contents же, а как раз таки использует CURL для работы с сайтом и устанавливает все необходимые заголовки, в том числе и реферал.

[vilago 1]

Вопрос. В шаблоне fullstory.tpl есть важная текстовая информация которую я закрываю тегом [group=1,2,3,6]{full-story}[/group] . Эта информация не доступна зарегистрированным пользователям а видна только группе Админ,Модератор,Журналисты и VIP пользователи. Но обнаружил что эта текстовая информация "светится" через файл rss.xml на турбо страницах Яндекса. Есть ли способ закрыть отображение часть или всю полную новость от "засветки" в RSS потоке ? Нужно чтобы в полной новости в турбо странице была виден только заголовок новости и фото новости а весь остальной текст был бы закрыт.

Изменено 25 апреля 2022 пользователем vilago

[celsoft 6 076]

6 часов назад, vilago сказал:

Вопрос. В шаблоне fullstory.tpl есть важная текстовая информация которую я закрываю тегом [group=1,2,3,6]{full-story}[/group] . Эта информация не доступна зарегистрированным пользователям а видна только группе Админ,Модератор,Журналисты и VIP пользователи. Но обнаружил что эта текстовая информация "светится" через файл rss.xml на турбо страницах Яндекса. Есть ли способ закрыть отображение часть или всю полную новость от "засветки" в RSS потоке ? Нужно чтобы в полной новости в турбо странице была виден только заголовок новости и фото новости а весь остальной текст был бы закрыт.

Вы закрываете в шаблоне. Для RSS тоже используются шаблоны. И это rss.tpl в папке /templates/. Убирайте оттуда вывод полной новости