Как защититься от граббера?

[Kolbaser 33]

Вижу, что сайт граббят, мне это не очень нравится, но поставить дополнительные поля у меня не получается по определённым причинам. Есть какой-нибудь другой способ от граббинга?

http://vagonkino.ru/

Изменено 17 июля 2009 пользователем Kolbaser

[celsoft 5 992]

Способов 2

1. Запретить IP адреса, с которых идет граббинг новостей.

2. Отлючить сайт от интернета.

Грабберы ничем не отличаются от обычных людей и обычных посетителей. То что видят посетители, то и видять программы для граббинга, и они представляют серверу точно такие же данные как и обычный браузер простого посетителя.

[Kolbaser 33]

Тогда остаются дополнительные поля, не очень удобно когда сайт уже давно работает, зато ПС не видят ссылки в них, а это жирный +

[lifestar 18]

Kolbaser, а каким образом дополнительные поля защитят контент?

[Kolbaser 33]

От граббера защитят полностью, вот тут у меня стоят доп.поля:

http://vagonkino.ru/

http://vsefilmi.com/

можно попробовать их "зграбить" и будет видно, что та инфа, которая лежит в доп. поле не доступна грабберу, но ПС тоже не доступна(

Изменено 17 июля 2009 пользователем Kolbaser

[gosu 1]

I would recommend you to try replacing

id='news-id-"

with something else like:

id="my-news-id-"

Files to replace:

modules/fullsearch.php

modules/search.php

show.full.php

show.short.php

[Kolbaser 33]

gosu

Вы думаете эта замена поможет, вы пробовали так делать?

[Al-x 7]

Kolbaser,

это изменит шаблон граббинга. Но те, кто тырят контент - тоже могут его изменить)

[gosu 1]

Kolbaser,

Я думаю, не тестировал если работает

[lifestar 18]

От граббера защитят полностью, вот тут у меня стоят доп.поля:

http://vagonkino.ru/

http://vsefilmi.com/

можно попробовать их "зграбить" и будет видно, что та инфа, которая лежит в доп. поле не доступна грабберу, но ПС тоже не доступна(

какая именно инфа? всё доступно

[Captain 613]

'Kolbaser',

NOFOLLOW так не ставится:

<noindex><nofollow> ... </nofollow></noindex>

Тока так:

<a href=”…” rel="nofollow" />Ссылка</a>

или так

<a rel="nofollow" href=”…” />Ссылка</a>

[Kolbaser 33]

Александр Медвед

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

Captain

Вы уверены? Просто я тож так как вы написали всегда ставил, а потом в одной партнёрке увидел как они свой код заключали в

<nofollow> ... </nofollow>

ну и решил, что так тоже можно...

Изменено 17 июля 2009 пользователем Kolbaser

[lifestar 18]

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

я не пойму о чём речь..

взять вот страницу http://vagonkino.ru/fantasy/9375-garri-pot...potter-and.html

все ссылки мне видны, а значит и грабберу тоже

[КиберБулка 2]

Для начала можно отключить RSS.

[Captain 613]

Captain

Вы уверены? Просто я тож так как вы написали всегда ставил, а потом в одной партнёрке увидел как они свой код заключали в

<nofollow> ... </nofollow>

ну и решил, что так тоже можно...

Абсолютно уверен, в таком виде этот тег просто нерабочий (лишний код) и от гугла так ссылку не спрячешь.

[Kolbaser 33]

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

я не пойму о чём речь..

взять вот страницу http://vagonkino.ru/fantasy/9375-garri-pot...potter-and.html

все ссылки мне видны, а значит и грабберу тоже

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

Captain

Спасибо, буду теперь снимать везде где понатыкал...

Для начала можно отключить RSS

Это значит потерять часть пользователей, не очень хорошее решение, особенно для моей тематики сайта.

Изменено 20 июля 2009 пользователем Kolbaser

[lifestar 18]

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

верю что ваш граббер не видит, а вот наш видит) робот видит точно тоже что и человек в браузере

[Al-x 7]

Kolbaser,

грабберы снимают текст по указанным шаблонам. Видимо у тех воров нету цели лишать контента именно ваш сайт, в противном случае - исправление шаблона граббера - дело 5 минут)

[Kolbaser 33]

Хм... хреновенько тогда...

Тут спамеры, там грабберы... не дают жить честным вебмастерам

Изменено 20 июля 2009 пользователем Kolbaser

[flo.mAster 7]

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

верю что ваш граббер не видит, а вот наш видит) робот видит точно тоже что и человек в браузере

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

[celsoft 5 992]

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

граббер грабит то что указано в шаблоне поиска а не какие то определенные дивы

[flo.mAster 7]

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

граббер грабит то что указано в шаблоне поиска а не какие то определенные дивы

это заказные грабберы под определнный сайт. Стандартные через див дле

[celsoft 5 992]

это заказные грабберы под определнный сайт. Стандартные через див дле

Нет заказных грабберов, стандартный в DLE RSS импорт способен брать новости с любых сайтов, с любым оформлением, для этого в нем и задается шаблон поиска в его настройках. Да и вообще любой граббер построен на задании специальных шаблонов, по которым он получает контект.

[lifestar 18]

Граббер грабит див который вставляет дле: ньювс-ид-*

так это смотря какой грабер)

[demon165 8]

в .htaccess прописывается следующий код:

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]

RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]

RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]

RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]

RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]

RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]

RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]

RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]

RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]

RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]

RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]

RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]

RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]

RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]

RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]

RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]

RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]

RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]

RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Zeus

RewriteRule ^.* - [F,L]

это как раз известные граберы,доступ только для ботов поисковиков