Как защититься от граббера?

[Kolbaser 33]

Вижу, что сайт граббят, мне это не очень нравится, но поставить дополнительные поля у меня не получается по определённым причинам. Есть какой-нибудь другой способ от граббинга?

http://vagonkino.ru/

[celsoft 6252]

Способов 2

1. Запретить IP адреса, с которых идет граббинг новостей.

2. Отлючить сайт от интернета.

Грабберы ничем не отличаются от обычных людей и обычных посетителей. То что видят посетители, то и видять программы для граббинга, и они представляют серверу точно такие же данные как и обычный браузер простого посетителя.

[Kolbaser 33]

Тогда остаются дополнительные поля, не очень удобно когда сайт уже давно работает, зато ПС не видят ссылки в них, а это жирный +

[lifestar 18]

Kolbaser, а каким образом дополнительные поля защитят контент?

[Kolbaser 33]

От граббера защитят полностью, вот тут у меня стоят доп.поля:

http://vagonkino.ru/

http://vsefilmi.com/

можно попробовать их "зграбить" и будет видно, что та инфа, которая лежит в доп. поле не доступна грабберу, но ПС тоже не доступна(

[gosu 1]

I would recommend you to try replacing

id='news-id-"

with something else like:

id="my-news-id-"

Files to replace:

modules/fullsearch.php

modules/search.php

show.full.php

show.short.php

[Kolbaser 33]

gosu

Вы думаете эта замена поможет, вы пробовали так делать?

[Al-x 7]

Kolbaser,

это изменит шаблон граббинга. Но те, кто тырят контент - тоже могут его изменить)

[gosu 1]

Kolbaser,

Я думаю, не тестировал если работает

[lifestar 18]

От граббера защитят полностью, вот тут у меня стоят доп.поля:

http://vagonkino.ru/

http://vsefilmi.com/

можно попробовать их "зграбить" и будет видно, что та инфа, которая лежит в доп. поле не доступна грабберу, но ПС тоже не доступна(

какая именно инфа? всё доступно

[Captain 636]

'Kolbaser',

NOFOLLOW так не ставится:

<noindex><nofollow> ... </nofollow></noindex>

Тока так:

<a href=”…” rel="nofollow" />Ссылка</a>

или так

<a rel="nofollow" href=”…” />Ссылка</a>

[Kolbaser 33]

Александр Медвед

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

Captain

Вы уверены? Просто я тож так как вы написали всегда ставил, а потом в одной партнёрке увидел как они свой код заключали в

<nofollow> ... </nofollow>

ну и решил, что так тоже можно...

[lifestar 18]

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

я не пойму о чём речь..

взять вот страницу http://vagonkino.ru/fantasy/9375-garri-pot...potter-and.html

все ссылки мне видны, а значит и грабберу тоже

[КиберБулка 2]

Для начала можно отключить RSS.

[Captain 636]

Captain

Вы уверены? Просто я тож так как вы написали всегда ставил, а потом в одной партнёрке увидел как они свой код заключали в

<nofollow> ... </nofollow>

ну и решил, что так тоже можно...

Абсолютно уверен, в таком виде этот тег просто нерабочий (лишний код) и от гугла так ссылку не спрячешь.

[Kolbaser 33]

В моём случае ссылки на файлообменники и видеофайлы, они в доп. полях не дают ВС + те кто грабят предпочитают сграбить и забыть, а не добавлять потом после гриббинга ссылки ручками.

я не пойму о чём речь..

взять вот страницу http://vagonkino.ru/fantasy/9375-garri-pot...potter-and.html

все ссылки мне видны, а значит и грабберу тоже

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

Captain

Спасибо, буду теперь снимать везде где понатыкал...

Для начала можно отключить RSS

Это значит потерять часть пользователей, не очень хорошее решение, особенно для моей тематики сайта.

[lifestar 18]

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

верю что ваш граббер не видит, а вот наш видит) робот видит точно тоже что и человек в браузере

[Al-x 7]

Kolbaser,

грабберы снимают текст по указанным шаблонам. Видимо у тех воров нету цели лишать контента именно ваш сайт, в противном случае - исправление шаблона граббера - дело 5 минут)

[Kolbaser 33]

Хм... хреновенько тогда...

Тут спамеры, там грабберы... не дают жить честным вебмастерам

[flo.mAster 7]

Конечно вам они будут видны))) а грабберу нет. Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

верю что ваш граббер не видит, а вот наш видит) робот видит точно тоже что и человек в браузере

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

[celsoft 6252]

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

граббер грабит то что указано в шаблоне поиска а не какие то определенные дивы

[flo.mAster 7]

вы не правы. Граббер грабит див который вставляет дле: ньювс-ид-*. А если я вставлю дом поле не в этот див? Предположим, что я его просто закрою в начале фуллстори ?

граббер грабит то что указано в шаблоне поиска а не какие то определенные дивы

это заказные грабберы под определнный сайт. Стандартные через див дле

[celsoft 6252]

это заказные грабберы под определнный сайт. Стандартные через див дле

Нет заказных грабберов, стандартный в DLE RSS импорт способен брать новости с любых сайтов, с любым оформлением, для этого в нем и задается шаблон поиска в его настройках. Да и вообще любой граббер построен на задании специальных шаблонов, по которым он получает контект.

[lifestar 18]

Граббер грабит див который вставляет дле: ньювс-ид-*

так это смотря какой грабер)

[demon165 8]

в .htaccess прописывается следующий код:

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]

RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]

RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]

RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]

RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]

RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]

RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]

RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]

RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]

RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]

RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]

RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]

RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]

RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]

RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]

RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]

RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]

RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]

RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Zeus

RewriteRule ^.* - [F,L]

это как раз известные граберы,доступ только для ботов поисковиков