Izumiのblog

ITメディアのオルタナティブ・ブログに、ウェブサイトのヒット数が突如何倍にもに急増する魔法にかかった？という記事がありましたが、この記事同様にウチにもbaiduのクローラーが頻繁に来るようになりました。幸いなことにサーバが落ちることは有りませんでしたが、それでもデータ転送量が倍くらいに増えています。いつ頃から来るようになったのかは忘れてしまいましたが…。

百度のクローラーですが、この記事にあるように行儀悪くガンガン連続してアクセスして来ますし、robots.txtは無視してくれましたし、何より中国の検索サイトでウチのサイトが検索されても嬉しくも悲しくも何ともないので、ルータレベルでお引き取り頂くことにしました。サーバ側(iptablesやapache)で拒否する方法も有りますが、サーバのリソースを使うのももったいないので。

で、百度からのアクセスをdropするようにして1週間以上経過しましたが、ルータのログを見ると未だにしつこくアクセスして来ています。こういう点もお行儀が悪いなぁ…。

百度では日本語のサービスも始めるみたいですが、もう少しお行儀を良くしないと、皆さんから嫌われてしまって、サービスに影響が出るかもしれません。