Бывают такие случаи, когда владелец сайта не
желает, или не может, отдавать свой сайт целиком своим посетителями.
Приведем простой пример:
У вас есть сайт, на котором, вы публикуете обои для рабочего стола. Общий объем сайта - 500Mb, посещаемость 7 000 хостов в сутки,
примерный трафик - 300Гб в месяц или 10 Гб в день.
Добавим к этим посетителям еще 20 человек, скачавших ваш сайт
целиком. Получаем увеличение трафика на 10Гб или в два раза. Или
другими словами 0.28% посетителей создали 50% трафика. Не совсем
честно, особенно если вы оплачиваете трафик.
Способы защиты сайта от скачивания
1. Запрет по User Agent
User Agent - так
называются данные, которые каждый броузер передает серверу. Эти
данные могут содержать в себе такую информацию, как тип броузера,
операционная система, список плагинов и многое другое.
Это наиболее простой, но наименее эффективный способ. Его
преимущество в том, что ни кого лишнего вы не запретите, а
недостаток в том, что практический каждый Download агент может
маскироваться под стандартные браузеры.
2. Ограничение по количеству просмотренных страниц
за определенный промежуток времени.
Тоже достаточно спорный метод. Но надо понимать, что нормальный
человек не может просмотреть 60 страниц за 1 минуту. Но с другой
стороны и Download агент может делать паузы между скачиванием
страниц.
Даже если вы не заблокируете Download агент совсем, то по крайней
мере, сильно затрудните скачивание.
3. Запрет с помощью скрытой ссылки.
Наверное, один из самых правильных методов. Вы должны сделать
скрытую ссылку на странице, по которой "живой" человек не перейдет,
а Download агент и прочие роботы сделают это. IP адрес с которого
производится просмотр скрытой страницы блокируется, скажем, на 3
минуты.
Главный недостаток - это то, что вы, таким образом, блокируете
поисковых роботов. Бороться с этим можно двумя способами:
Проверять $HTTP_USER_AGENT. Для этого вам необходимо будет
знать то, каким образом подписываются все поисковые роботы. Кроме
того, при таком способе Download агент сможет замаскироваться под
поискового робота. (см. пример
2)
Запрещать IP адрес можно не по факту загрузки скрытой
страницы, а по факту загрузки картинки, установленной на скрытой
странице. Поисковые роботы обычно не запрашивают изображения
размещенные на страницах, а Download агенты обычно делают это.
Выводы.
Как видите, метода, который бы работал на сто процентов, нет, и
вам придется что-то (или кого-то) приносить в жертву. Ниже приведен
код PHP класса, который реализует защиту от скачивания, описанную в
третьем
методе.
Пример PHP класса
flooders.inc.php:
<? class
Flooders {
var $filename; /*
Имя файла, в котором хранится список */
/*
запрещенных IP
адресов */
var
$timeout; /* Время, на которое производится бан IP */
/*
адреса. По умолчанию - 600 (10 минут) */
var
$log; /* Имя
лог-файла. */
var
$AGENTS; /* Массив - список разрешенных
агентов */
/* */
/* Конструктор - в параметрах можно
указать основные настройки */
/* */
/* $filename - имя
файла, в котором хранится
список */
/* забаненных
адресов. */
/* $timeout - время, в
секундах, на которое банится
IP. */
/* */
/* Пример: $f=new
Flooders("ban.txt",3600); */
/* */
function
Flooders($filename="flooders.txt",$timeout=600) {
$this->filename=$filename;
$this->timeout=$timeout;
$this->AGENTS=Array();
$this->log="";
}
/* */
/* Задает имя лог-файла. Если имя файла
пустое, то лог-файл */
/* не
испольщуется */
/* */
function
SetLogFileName($filename) {
$this->log=$filename;
}
/* */
/* Проверка IP адреса на нахождение в
бан-листе. */
/* */
/* Если $http_errror==0, то возвращает
true, если IP адрес */
/* забанен, и false, если IP адрес
разрешен. */
/* */
/* Если $http_error==404 и IP адрес
забанен, то выводится */
/* стандартная страница 404 сервера
Apache */
/* */
/* Если $http_error==403 и IP адрес
забанен, то выводится */
/* стандартная страница 403 сервера
Apache */
/* */
function
Check($http_error=0) {
GLOBAL
$HTTP_SERVER_VARS;
$d=@file($this->filename);
if
(!is_array($d)) {print "Ошибка чтения из
файла "".$this->filename."".";return(false);}
$found=false;
for
($i=0;$i<count($d);$i++) {
$e=explode(" : ",$d[$i]);
if
($e[1]==$ip1 && trim($e[2])==$ip2 && $e[0]+$this->timeout>$curtime) {$found=true;break;}
}
if ($http_error==404 && $found==true) {
header("HTTP/1.0 404 Not Found");
die("<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML
2.0//EN\">\n<HTML><HEAD>\n<TITLE>404 Not
Found</TITLE>\n</HEAD><BODY>\n<H1>Not
Found</H1>\nThe requested URL ".$HTTP_SERVER_VARS["REQUEST_URI"]." was not found on this
server.<P>\n<HR>\n".$HTTP_SERVER_VARS["SERVER_SIGNATURE"]."\n</BODY></HTML>");
}
if ($http_error==403 && $found==true) {
header("HTTP/1.0 403 Forbidden");
die("<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML
2.0//EN\">\n<HTML><HEAD>\n<TITLE>403
Forbidden</TITLE>\n</HEAD><BODY>\n<H1>Forbidden</H1>\nYou
don't have permission to access ".$HTTP_SERVER_VARS["REQUEST_URI"]."\non this
server.<P>\n<HR>\n".$HTTP_SERVER_VARS["SERVER_SIGNATURE"]."\n</BODY></HTML>");
}
return($found);
}
/* */
/* Добавления IP адреса в
бан-лист */
/* */
function
Ban() {
GLOBAL
$HTTP_SERVER_VARS;
$agent=" ".$HTTP_SERVER_VARS["HTTP_USER_AGENT"];
for
($i=0;$i<count($this->AGENTS);$i++) {
if
(strpos($agent,$this->AGENTS[$i])) return;
}
