Как защититься от граббера?

[lifestar 18]

сейчас у любого нормального граббера в HTTP_USER_AGENT можно ставить любой браузер

[Kolbaser 33]

Не стоить забывать, что грабберами пользуются не только люди, которые могут его переделывать и совершенствовать сами, но и люди, которым 1,5 часа объясняют как им пользоваться, т.ч. защититься можно хоть от них...

Я чего создал эту тему... хочу запустить новый проект с уникальным контентом, так хотел хоть как-то подстраховаться от "вандалов", одно дело фильмы граббить, которые по всей сети ходят и их не жалко и другое дело уник. контент(

demiant

У меня 2 граббера и в этом списке их нету, а они именно грабберы, а не программы как ФлэшГет (он тоже граббит?)

Изменено 22 июля 2009 пользователем Kolbaser

[Nektov 59]

Тут спамеры, там грабберы... не дают жить честным вебмастерам

Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

У меня 2 граббера и в этом списке их нету, а они именно грабберы, а не программы как ФлэшГет (он тоже граббит?)

Прикольно смотрится. Вы случайно не писатель граберов?

Как по мне, проще всего, дописать в show.full.php,show.short.php текст аля "Опубликовано на www.domen.com" тогда хоть будут знать, откуда новость.

А вот защитится от грабера не реально. Поскольку сам ДЛЕ таким оснащён.

[flo.mAster 7]

Я не говорю про RSS!!! Попался на руки граббер и там тоже был ДЛЕ ДИВ. Не путайте RSS и граббер который может все новости с сайта вытянуть!

[Kolbaser 33]

Тут спамеры, там грабберы... не дают жить честным вебмастерам

Граббер не видит ту инфу, которая лежит в доп. полях, поверьте, тем более, что у меня есть граббер и не один.

У меня 2 граббера и в этом списке их нету, а они именно грабберы, а не программы как ФлэшГет (он тоже граббит?)

Прикольно смотрится. Вы случайно не писатель граберов?

Как по мне, проще всего, дописать в show.full.php,show.short.php текст аля "Опубликовано на www.domen.com" тогда хоть будут знать, откуда новость.

А вот защитится от грабера не реально. Поскольку сам ДЛЕ таким оснащён.

Не, не писатель грабберов, просто как-то купил себе граббер для ГС, а потом продавец не смог дать обновления как обещал и после ежедневных напоминаний отдал мне свой ключ на абсолютно другой и более лучший граббер, вот поэтому у меня их два, но пользуюсь одним, т.к. первый г**о полное.

П.С. А сайт в итоге ГС так и не стал, сейчас там всё ручками добавляется)

[lifestar 18]

А сайт в итоге ГС так и не стал, сейчас там всё ручками добавляется

если контент добавляется ручками - это не признак не гс сайта)

[Kolbaser 33]

А сайт в итоге ГС так и не стал, сейчас там всё ручками добавляется

если контент добавляется ручками - это не признак не гс сайта)

Согласен, но я как-то не могу сделать ГС - чего-то мне не хватает... не приносит это дело удовлетворения, это тоже самое, что куличики из г**на лепить, кому они нужны-то?

[Walk 6]

Грабберы ничем не отличаются от обычных людей и обычных посетителей. То что видят посетители, то и видять программы для граббинга, и они представляют серверу точно такие же данные как и обычный браузер простого посетителя.

Вот не надо.

Человек это все же человек, со своими ограничениями.

А грабберы - позволяют выкачивать тысячи новостей + автоматом их синонимайзерить (или как склонить это слово), и выкладывать у себя на сайте (еще и даты новостей рандомно менять, получается прям постепенно заполняющийся сайт).

Т.е. с грабберами все идет на потоке, в масштабах которые копипастерам и не снились.

Изменено 21 мая 2010 пользователем Walk

[hotdj 33]

Я бы на вашем месте пользовался бы случаем таким и ставил бы ссылки в новость на свой же сайт ))

Школота грабит вместе с ссылками, и размещают их у себя на сайте. Вам плюсег ))) я бы пользовался этим с удовольствием. даже новости чаще на сайт добавлял ))

[dleua 4]

можно попробовать их "зграбить" и будет видно, что та инфа, которая лежит в доп. поле не доступна грабберу, но ПС тоже не доступна(

почему это ПС не доступно?

[IronMedia 7]

Я бы на вашем месте пользовался бы случаем таким и ставил бы ссылки в новость на свой же сайт ))

Школота грабит вместе с ссылками, и размещают их у себя на сайте. Вам плюсег ))) я бы пользовался этим с удовольствием. даже новости чаще на сайт добавлял ))

Не вариант. В граббере можно прописать исключение, если знать как ставит админ подпись, например: "Источник: аля сайт."

[zgr 72]

это заказные грабберы под определнный сайт. Стандартные через див дле

Нет заказных грабберов, стандартный в DLE RSS импорт способен брать новости с любых сайтов, с любым оформлением, для этого в нем и задается шаблон поиска в его настройках. Да и вообще любой граббер построен на задании специальных шаблонов, по которым он получает контект.

Прикольно Писал для себя грабер, когда счетчик проверки сайтов клепал. Примерно от 10-ти строк начинается... Суть такова:

через файл_гет_контент (или, можно подставив Юзер айди, сграбить через курлы... Ипы у меня меняются каждые 0.5-2 часа - тупая особенность провайдера, так что генерируя рандомно ЮА вообще никак нельзя определить - робот или человек и что грабит; никакой привязки к тегам при этом нет; если у сайта стат. ип привязан, то не хитрое дело сделать на нескольких разных доменах код "качалки" - тоже просечь очень трудно.) вырезал только всё между "боди", затем проверял статический текст: если идёт совпадение 80-100% со следующей страницей в определенных тегах (например, дивах или таблицах) и они имеют одинаковый маркер, например, "стил"ь, "айди" или "класс", то, значит, это "хидер", "футер" или "сайдбар" - его удаляем. Затем очищаем все стили, классы и айди и присваиваем свои для текущего дизайна говносайта и вуаля. Код не хитрый, грабил таким образом Википедию, а можно одновременно склейку несколько сайтов грабить; просто изучал похапе и скулу.

Проф.код занял примерно 10 кб, убил неделю, всё работало, потом плюнул ерундой заниматься и стал писать топики для людей

Изменено 23 мая 2010 пользователем zgr