Скрипт блокировки «лишних» поисковых роботов

Достаточно часто роботы различных поисковиков создают повышенную нагрузку на сервер (да-да, такие бывают кроме Google, Yandex, Bing, Yahoo), доводя LA до огромных значений. В данной статье приведен скрипт для создания записи в .haccess сайта для панели управления ISPmanager. Им очень удобно пользоваться, если сайтов десятки. Собственно вот сам скрипт:

#!/bin/bash
#spisok
ls /var/www/*/data/www/*/.htaccess > /tmp/HDdsfs.txt
for i in $(cat /tmp/HDdsfs.txt); do
cat >> $i << "EOF"
#Blokirovka botov
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent None bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
SetEnvIfNoCase User-Agent bing bad_bot
SetEnvIfNoCase User-Agent Semrush bad_bot
SetEnvIfNoCase User-Agent MJ12 bad_bot
SetEnvIfNoCase User-Agent PWeBot bad_bot
SetEnvIfNoCase User-Agent LinksManager.com_bot bad_bot
SetEnvIfNoCase User-Agent SputnikBot bad_bot
SetEnvIfNoCase User-Agent SputnikBot/2.3 bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

#Blokirovka botov

EOF
done
rm -f /tmp/HDdsfs.txt

В строках

SetEnvIfNoCase User-Agent SputnikBot/2.3 bad_bot

указано какие юзерагенты блокировать. Поэтому кто-то добавит/удалит свое – в списке есть “роботы” facebook и twitter, поэтому кому они нужны – удалите данные записи.