Защита веб-сайта от автоматического скачивания программами. Защищаемся средствами Unix [ban_mega_dl.sh v.3.0]

Зачем массово качаются сайты? Сходу можно указать две причины. Кому-то Ваш сайт очень понравился и этот “кто-то” нашел на нем много полезной для себя информации. Вот и хочется человеку сделать себе локальное “зеркало” этого сайта, для того, чтобы не выходя в Интернет как следует изучить информацию на нем.

В другом случае кто-то также нашел сайт интересным, но не в плане информативности, а в плане заработка. Такие субъекты, массово выкачивая сайты со структурой каталогов, медиа-контентом и прочим содержимым, создают потом “зеркала” этого сайта в Сети на каком-то ином хостинге, а проще говоря, крадут сайт целиком чтобы на этом потом заработать.

Уверен, что ни одному владельцу сайта не будет легче ни от первой причины, ни, тем более, от второй, когда его сайт начинают копировать подчистую. Как минимум, это процесс доставляет технические неудобства. Появляется излишняя нагрузка на сервер, расходуется излишний трафик, а если трафик этот в лимите, то еще и излишние деньги за превышение лимита трафика. Обычно веб-мастера, видя как нещадно с их сайта выгружаются один за одним страницы со скоростью, с которой нормальный человек не может серфить по сайту, опускают руки и оставляют все на самотек. Ведь если посмотреть с другой стороны, как-бы если твой сайт кто-то решил скопировать, значит он у тебя действительно полезен. Можно вроде бы этим гордиться?

ЗАКИДЫВАЙ ЛЕНТУ ЭТОГО БЛОГА В ЛЮБИМУЮ ЧИТАЛКУ
И СВОЕВРЕМЕННО УЗНАВАЙ О НОВЫХ МАТЕРИАЛАХ!

Что такое “Хотлинки” (hotlinks) и как с ними бороться

Еще когда этому блогу было от силы пару месяцев и посетителей на нем было не густо я как-то, просматривая логи AwStats, наткнулся на некие “ссылающиеся страницы“, которые меня заинтересовали. Я прошел по ссылкам на эти страницы, чтобы посмотреть, кто же сослался и что хорошего взял с моего блога. Это оказались обычные странички одного ЖЖ. Автор дневника опубликовал у себя поздравление с днем рождения своей подруге, а в качестве картинки для поста указал URL изображения с моего блога. Изображения, которое физически оставалось лежать на моем сервере… И которое каждый раз, когда кто-либо просматривал дневник этого товарища, загружалось с моего сервера и питалось моим трафиком.

О хотлинках (hotlink) я тогда еще не слышал. А именно такой способ публикации медиа-контента, когда постится что-то, (различная графика, флеш-ролики, видео и т.п.) лежащее на другом сервере, называется хотлинком.

Web сервер Apache 1.3 с поддержкой php5 и mod_perl (русский перевод httpd.conf)

Я понимаю, что материала на эту тему в Сети хоть отбавляй, но я хочу написать свою публикацию, изложить свои мысли и идеи. Просто записать для себя то, что знаю. Поэтому предлагаю всем желающим ознакомиться с моим вариантом создания виртуального веб хостинга на основе операционной системы FreeBSD с использованием известного всем программного обеспечения.

Краткое оглавление

• Установка Apache 1.3
• Конфигурация Apache. Русский перевод httpd.conf
• Подключение модулей PHP5 и mod_perl

Примеры конфигураций из этой статьи можно использовать для простейшего хостинга для себя или “для своих”. Скорее всего, для профессионального хостинга он потребует доработок. Тем не менее, начинать нужно с малого.