RedScorp 0 Опубликовано: 4 марта 2008 Рассказать Опубликовано: 4 марта 2008 Всем доброго времени суток. Прошу прощения за вопрос, но всеже хотелось бы узнать есть ли защита от скачивания сайта программами типа Teleport. Когда гуглил наткнулся на статьи, к примеру: правим httpd.conf LoadModule setenvif_module libexec/apache/mod_setenvif.so ----- правим .htaccess setenvif HTTP_REFERER ^http://www.iaea.org getout setenvif User-Agent ^attach getout setenvif User-Agent ^Au2Email getout setenvif User-Agent "^Advanced Email Extractor" getout setenvif User-Agent ^BackWeb getout setenvif User-Agent ^Bandit getout setenvif User-Agent ^BatchFTP getout setenvif User-Agent ^BaySpider getout setenvif User-Agent ^BlackWidow getout setenvIf User-Agent ^Bot.mailto:craftbot@yahoo\.com getout setenvif User-Agent ^Buddy getout setenvif User-Agent ^ChinaClaw getout setenvif User-Agent ^Collector getout setenvif User-Agent ^Copier getout setenvif User-Agent ^Crescent getout setenvif User-Agent ^curl getout setenvif User-Agent ^DA getout setenvif User-Agent "^DISCo Pump" getout setenvif User-Agent "^Download Demon" getout setenvif User-Agent "^Download Wonder" getout setenvif User-Agent ^Downloader getout setenvif User-Agent ^Drip getout setenvif User-Agent ^eCatch getout setenvif User-Agent ^e-collector getout setenvif User-Agent ^EirGrabber getout setenvif User-Agent ^EmailCollect getout setenvif User-Agent ^EmailHarvest getout setenvif User-Agent ^EmailMagnet getout setenvif User-Agent ^EmailReaper getout setenvif User-Agent ^EmailSiphon getout setenvif User-Agent "^Email Spider" getout setenvif User-Agent "^EmailWolf" getout setenvif User-Agent "^Express WebPictures" getout setenvif User-Agent ^ExtractorPro getout setenvif User-Agent ^EyeNetIE getout setenvif User-Agent ^FileHound getout setenvif User-Agent ^Floodgate getout setenvif User-Agent ^FlashGet getout setenvif User-Agent ^GetRight getout setenvif User-Agent ^GetSmart getout setenvif User-Agent ^Go!Zilla getout setenvif User-Agent ^Go-Ahead-Got-It getout setenvif User-Agent ^gotit getout setenvif User-Agent ^Grabber getout setenvif User-Agent ^GrabNet getout setenvif User-Agent ^Grafula getout setenvif User-Agent ^HMView getout setenvif User-Agent ^HTTrack getout setenvif User-Agent ^InterGET getout setenvif User-Agent "^Internet Ninja" getout setenvif User-Agent ^Iria getout setenvif User-Agent ^JetCar getout setenvif User-Agent ^JOC getout setenvif User-Agent ^JustView getout setenvif User-Agent "^Kontiki Client" getout setenvif User-Agent ^larbin getout setenvif User-Agent ^Linkidator getout setenvif User-Agent ^LeechFTP getout setenvif User-Agent ^lftp getout setenvif User-Agent ^likse getout setenvif User-Agent ^Magnet getout setenvif User-Agent ^Mag-Net getout setenvif User-Agent "^Mail Harvester" getout setenvif User-Agent "^Mass Downloader" getout setenvif User-Agent ^Memo getout setenvif User-Agent "^MIDown tool" getout setenvif User-Agent "^Microsoft URL Control" getout setenvif User-Agent ^Mirror getout setenvif User-Agent "^Mister PiX" getout setenvif User-Agent ^Navroad getout setenvif User-Agent ^NearSite getout setenvif User-Agent ^NetAnts getout setenvif User-Agent ^NetSpider getout setenvif User-Agent "^Net Vampire" getout setenvif User-Agent ^NetZip getout setenvif User-Agent ^Ninja getout setenvif User-Agent ^Octopus getout setenvif User-Agent "^Offline Explorer" getout setenvif User-Agent ^PageGrabber getout setenvif User-Agent "^Papa Foto" getout setenvif User-Agent ^pcBrowser getout setenvif User-Agent "^Pictures Grabber" getout setenvif User-Agent ^Pockey getout setenvif User-Agent ^psbot getout setenvif User-Agent ^Pump getout setenvif User-Agent ^RealDownload getout setenvif User-Agent ^Reaper getout setenvif User-Agent ^Recorder getout setenvif User-Agent ^ReGet getout setenvif User-Agent "^Road Runner: ImageScape Robot" getout setenvif User-Agent ^Siphon getout setenvif User-Agent ^SiteSnagger getout setenvif User-Agent ^SlySearch getout setenvif User-Agent ^SmartDownload getout setenvif User-Agent ^Snake getout setenvif User-Agent ^Stripper getout setenvif User-Agent ^Sucker getout setenvif User-Agent ^SuperBot getout setenvif User-Agent ^SuperHTTP getout setenvif User-Agent ^Surfbot getout setenvif User-Agent "^Sqworm/2.9.85-BETA" getout setenvif User-Agent ^tAkeOut getout setenvif User-Agent ^Tcl_http_client_package getout setenvif User-Agent "^Teleport Pro" getout setenvif User-Agent ^Telesoft getout setenvif User-Agent ^TurnitinBot getout setenvif User-Agent ^URLBlaze getout setenvif User-Agent ^Vacuum getout setenvif User-Agent ^VobSub getout setenvif User-Agent ^VoidEYE getout setenvif User-Agent "^Web Image Collector" getout setenvif User-Agent "^Web Sucker" getout setenvif User-Agent ^WebAuto getout setenvif User-Agent ^WebBandit getout setenvif User-Agent ^WebCopier getout setenvif User-Agent "^Web Downloader" getout setenvif User-Agent ^WebEMailExtrac getout setenvif User-Agent ^WebFetch getout setenvif User-Agent ^WebMole getout setenvif User-Agent ^WebMiner getout setenvif User-Agent ^WebReaper getout setenvif User-Agent ^WebSauger getout setenvif User-Agent ^WebSnake getout setenvif User-Agent ^Website getout setenvif User-Agent ^Webster getout setenvif User-Agent ^WebStripper getout setenvif User-Agent ^WebWeasel getout setenvif User-Agent ^WebWhacker getout setenvif User-Agent ^WebZIP getout setenvif User-Agent ^Wget getout setenvif User-Agent ^Whacker getout setenvif User-Agent ^Widow getout setenvif User-Agent ^wysiwyg getout setenvif User-Agent ^Xaldon getout setenvif User-Agent ^Zeus getout <Limit GET POST> Order Allow,Deny Allow from all Deny from env=getout </Limit> Попробовал прописал. Но вот незадача Teleport по логам определяется как Mozilla Модули PHP естественно не скачиваются, но вот картинки... К чему все это я - да просто есть нехорошие люди, которые натравливают "закачки" чтобы поднять траф. Что можете посоветовать в плане обороны? Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 4 марта 2008 Рассказать Опубликовано: 4 марта 2008 Робот ,закачивая ваш сайт может представиться кем угодно, поэтому запрет по User-Agent не поможет. Тут давеча поднималась уже похожая тема Мораль: пользуемся поиском и надеемся только на себя Цитата Ссылка на сообщение Поделиться на других сайтах
RedScorp 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Автор Спасибо, почитаем, и извините (я не те слова оказывается искал) Цитата Ссылка на сообщение Поделиться на других сайтах
dataman 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Ну , можно юзать некий файл - robot.txt В него прописать некие инструкции для поисковиков и прочих автоматизированных систем. на все 100 не спасёт , ибо настройки мота менять в грабберах. Но от какой то части аудитории - защититесь. Я возможно ошибаюсь, но вот что приходит в голову. 1. Можно настроить таким образом апач, что он не станет отдавать листинг каталогов . Таким образом , отпадёт возможность получать с сервера левый список линков. 2. Хитро так настроить хтассес, чтобы он разрешал доступ к картинкам на прямую ТОЛЬКО для localhost или для ай пи - 127.0.0.1 Тогда , получится , что скрипт запросил (находящийся именно на 127.0.0.1) - то апачу и скормили. В свою очередь, апач отдаст запрошенную страницу посетителю. А прямой доступ к картинкам для массовой скачки - уже , извините. Хотя, может, как обычно - заблуждаюся... Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Ну , можно юзать некий файл - robot.txtвражеские роботы игнорируют это тфайл Можно настроить таким образом апач, что он не станет отдавать листинг каталогов . Таким образом , отпадёт возможность получать с сервера левый список линков.по моему большинство хостингов так и делают Хитро так настроить хтассес, чтобы он разрешал доступ к картинкам на прямую ТОЛЬКО для localhost или для ай пи - 127.0.0.1 Тогда , получится , что скрипт запросил (находящийся именно на 127.0.0.1) - то апачу и скормили.дело в том, что картинку запрашивает браузер, а не скрипт, а значит ай пи не 127.0.0.1 Цитата Ссылка на сообщение Поделиться на других сайтах
dataman 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Ну , тут бабушко на двое сказала .. 1. ЕСЛИ апача настроена на 127.0.0.1 - что одназначно есть гуд - то получается , СТРОГО НА МОЙ ВЗГЛЯД следуюшая картина .. С ай пи 123.456.789.012 запросили НЕКУЮ страничку. по адресу mycite.ru после разрешения имени в айпи имеем соотношение , к примеру - 98.765.432.1 Таким образом , браузер "атакующего" знает только одно - имя ай пи вёб ресурса и названия стартовой (или иной) страницы. Методами внутренней таблицы маршрутизации , со стороны сервера, пакеты будет благополучно переадресованы именно на адрес 127.0.0.1:80 где его и начнёт обрабатывать апача . Заметь , нет ещё НИКАКОЙ информации о картинках (файлов архивов, PDF и иного тяжолого составляющего) Но , поскольку апача намана так просит некий ПХП сгенерировать страничку - то , согласно работы этого скрипта в выходной код хтмл будут добавлены и картинки и всё остальное . И лиш когда сию прелесть апач отправит браузеру , запросившему ресурс, только тогда браузер обнаружит, что картинки в странице есть . Но , поскольку СТРАНИЦА уже сгенерирована, то получит он её полностью. С другой стороны, если он попытается пройти на прямую, в некий каталог IMG, в котором лежат картинки - тут его должно ожидать некое разочарование. В виде работы с энтим самых хтассесом. Прикрывающем этот каталог. Остаётся только найти добра молоцца, коий сваяет этот защитник. Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Что то слишком замороченно, вам не кажется? ) Цитата Ссылка на сообщение Поделиться на других сайтах
dataman 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Хотя где то , чувствую , вкралась в рассуждение ошибке. Кстати . есть ишшо один способ . Правда , ресурсо ёмкий . И требующий дополнительного изхвращения . Зато - 100% рабочий . ИМХО. 1. В момент закачки картинки либо файлов архивов , методом , хотяб MD5 генерировать имя , и тут же переобзывать. Переименовывать . 2. При обращении к данной составляющей контента - производить копирование и обратное переименование файла в некий дополнительный tmp каталог , из которого и оддаётся апачу. После доклада апача о отправке страницы страждущему , или по крону данная помойка систематически подчищается. Что то слишком замороченно, вам не кажется? Пишу , как понимаю . Извини .. Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 1. Плохо когда на сайте одновременно будут сидеть скажем 50 человек 2. Ага, а если картинок и опять же посетителей много - прощай жёсткий диск Цитата Ссылка на сообщение Поделиться на других сайтах
dataman 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 (изменено) Плохо когда на сайте одновременно будут сидеть скажем 50 человек А чем плохо то ?? У PHP сессии есть идентификатор . Мона его юзать , создавая в помойке эти подкаталоги. В них - персмонально для каждого - контент дешифровывать. Да и не возрастёт . Нагрузка . И вот почему ..DLE оно ж тоже файлы ПЕРЕИМЕНОВЫВАЕТ - даташтамп+имя файла . А мы тут просто ПЕРЕИМЕНОВЫВАЕМ файл в чтото неудобо читаемое . Пользуемся слегка иным алгоритмом. САМ файл , разумеется не шифруем . Ну будет лешать в каталоге чтото типа 5a67e980d0980a9cb89d80e что прикажете сним делать программе граберу ? 2. Ага, а если картинок и опять же посетителей много - прощай жёсткий диск А про виртуальные диски слыхать приходилось ?? мег 254 отдаём под virtual disk. И фсё .. Ну, возможно, незначительно возрастёт нагрузка на вычисления .. при дешифрофке. Зато - какие перспективы )))) Изменено 5 марта 2008 пользователем dataman Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 А про виртуальные диски слыхать приходилось ?? мег 254 отдаём под virtual disk. И фсё ..имеется в виду оперативной памяти? Добро) Хотя лично я не считаю нужным так "защищать" свой сайт Цитата Ссылка на сообщение Поделиться на других сайтах
dataman 0 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 lifestar, Слушай . По идее , для прироста производительности - можно ж действительно создать некий виртуальный диск .. И на него и скрипт весь положить , и базы .. При загрузке станции 1. Диск создаём, 2. На него копируем как базу так и файлы скрипта . Картинки и архивы - - ну .. чтож либо в него же - либо создаём алиасы. Зато - всё проблеммы на сайте сущетвуют ДО его перезагрузки . 3. По крону (или по факту ИЗМЕНЕНИЯ) базы данных - для её актуализации - сохраняем на винт . ВСЁ .. )) Цитата Ссылка на сообщение Поделиться на других сайтах
lifestar 18 Опубликовано: 5 марта 2008 Рассказать Опубликовано: 5 марта 2008 Насчёт базы согласен - увеличиваем производительность, а скрипты по моему нет смысла класть в память - быстрее не будет. Тем более речь то не о скорости, а о статике. А если статика весит Гигабайт так 30? Куда её класть?) Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.