Apache

ボット対策

本当はログにも残したくない(もしくは分離させたい)のだが、そのあたりはよくわからん。 さしあたり、User-Agentにより拒否をかけてます。

 # Bad agent ※ googleは許可(笑)
 SetEnvIf User-Agent "pompos.html" BadRobot
 SetEnvIf User-Agent "WWWC" BadRobot
 SetEnvIf User-Agent "WebFetch" BadRobot
 SetEnvIf User-Agent "htdig" BadRobot
 SetEnvIf User-Agent "ia_archiver" BadRobot
 SetEnvIf User-Agent "Openfind" BadRobot
 SetEnvIf User-Agent "TurnitinBot" BadRobot
 SetEnvIf User-Agent "dloader" BadRobot
 SetEnvIf User-Agent "FAST-WebCrawler" BadRobot
 SetEnvIf User-Agent "Sidewinder" BadRobot
 SetEnvIf User-Agent "Mercator" BadRobot
 SetEnvIf User-Agent "BaiDuSpider" BadRobot #  040428 typo修正 by doggie
 SetEnvIf User-Agent "WISEnutbot" BadRobot
 SetEnvIf User-Agent "mogimogi" BadRobot
 SetEnvIf User-Agent "Rumours-Agent" BadRobot
 SetEnvIf User-Agent "Openbot" BadRobot
 SetEnvIf User-Agent "Scooter" BadRobot
 SetEnvIf User-Agent "SideWinder" BadRobot
 SetEnvIf User-Agent "CyberSpider" BadRobot
 SetEnvIf User-Agent "Gaisbot" BadRobot
 SetEnvIf User-Agent "InternetLinkAgent" BadRobot
 SetEnvIf User-Agent "slurp@inktomi.com" BadRobot
 SetEnvIf User-Agent "NPBot" BadRobot
 SetEnvIf User-Agent "searchhippo" BadRobot
 SetEnvIf User-Agent "grub-client" BadRobot
 SetEnvIf User-Agent "MSNBOT" BadRobot # ここまでは自前分
 # 追加はここから
 SetEnvIf User-Agent "www.kokotoi.org" BadRobot # Zao/0.2対策 by doggie
 SetEnvIf User-Agent "Tkensaku" BadRobot # by doggie
 SetEnvIf User-Agent "HenryTheMiragoRobot" BadRobot # by たかはしようすけ
 # ここまでの間で
 <Files *>
  Order allow,deny
  Allow from all
  Deny from env=BadRobot
 </Files>

これでたいていのボットは拒否できると思うんだが...

できればさらに情報がほしいので、街でみかけたボット達をここに登録してもらえると助かります。

うちに来たやつ追記してみました。設定、使わせてもらいます。 By たかはしようすけ

ログ分離(案)

ログのほうは、

CustomLog access.log env=!BadRobbot
#CustomLog badrobot.log env=BadRobbot

とかでいいのかな。 by さく支障

CustomLog access.log combined env=!BadRobbot 
#CustomLog badrobot.log combined env=BadRobbot

かも。 by えろりむん

韓国拒否

穏便にNaverのみを、という方はNaverのロボットを弾く.htaccess(multithreadさん)をご確認ください。

以前から韓国からのアクセスが無駄に多いため嫌気がさしていたが、GoogleBotを詐称するとんでもない輩まで出てきたので、韓国からのアクセス自体を403することにしました。 素材としてはこんなので。

• blackholes.usより韓国割り当てのクラス情報
• お手製変換スクリプト ※ARGF使えとかツッコまれますが、気にするな。動けば勝ち(ぉ　あとprintfを使っていたのをこっそり修正したのは君(誰)と僕だけの秘密だ。

スクリプトにクラス情報ファイルを食わせるとapache(1.3.x)向けの設定を吐くので、適当なディレクトリにコピーし、include命令でいれてあげてください。再起動かける前にconfigtestするように。

なお、これをやったからといって完全にブロックする保証はない。あと、このファイルを.htaccessに使うと激しく遅くなることが予想されます。http.conf側で読ませてください。