ウチのサイトでは、
Googleのウェブマスターのツール (サイトマップを含む)を使っておりまして、色々な機能が有り非常に重宝しております。
例えば、もう一年以上前になりますが
Google Sitemap Generatorで書いたように、効率良くGoogleにクロールしてもらうためにsitemapの送信とか行っております。
この他にもウェブマスターのツールには色々な機能が有りまして、
クロール時のエラー情報
HTTPエラーが発生したとか、タイムアウトしたとか、robots.txtで規制されたコンテンツが何かとか、見つかりませんでしたとか、クロール時のエラー内容を表示してくれる。
robots.txtの解析
robots.txtの内容を表示してくれたり、変更した場合の動きをシミュレートしてくれる。
クエリの情報
Googleで検索された言葉を20位まで表示してくれる。
といった機能があります。(他にもありますが)
で、この内のクロール時のエラー情報ですが、エラーが発生したURLを見てみると、ウチのサイト(blog)では使っていないはずのURLが引っかかっていることが時々有りました。その時は不思議に思いつつも放置していたのですが、時々引っかかるため調べてみると…、ウチのサイトでは途中でblogのホームURLを変更したのですが、運用初期のホームURLがそのまま残っているエントリーが有り、それが引っかかっていたのでした。
teeter totterの基本設定で変更したのですが、切り替わっていなかったようです。途中で一度データを飛ばしてしまい、
強引に復旧したことがあったのですが、その時にどうも変になってしまっていたようです。
どう対処するのが良いのか分からないため、とりあえずtt_entrylog.logを直接修正してしまいました。ちなみにこの時、tt_entrylog.logの一部に改行コードの誤り(CR+LFで改行しているところが有った)を見つけたりしましたので、これも一緒に直したのでした。
サイトの再構築をしたら、正しくリンクが張られていましたので、無事直ったようです。
時々、ちゃんとチェックしないとイカンですね。