先日、何の前触れもなくウェブマスターツールからこんなメールが届きました。しかも同じメールが何通も！
Googlebot がサイトにアクセスできません
Googlebot が robots.txt へのアクセスを試みましたが、過去 24 時間で 4 件のエラーが発生しました。このファイルに指定されているページをクロールしないようにするため、クロールを延期しました。このサイト全体での robots.txt エラー率は 100.0% です
なんぢゃこりゃ～w( ▼o▼ )w
指摘されているサイトは、最近は全く触っていないサイトばかり。
何年も前に作って以来、なんのトラブルもなかったのに、なんで一気に突然こんなことになる？？
すったもんだすること、数日。
何も手につかず、とにかく対処法を探ってばかり。
基礎知識が何にもないものだから、なにがなにやら、さっぱりわーかりーましぇーん┐(￣ヘ￣）┌
中学生英語しかできない子供がネイティブの発音を聞き取ろうと四苦八苦している様子に似ていました。
robots.txtって何？
私、今回こんなことになって初めてrobots.txtの存在を知りました。
robots.txtっていうのは、グーグルさんに特定のページをインデックスしてほしくないときに設置するテキストファイルなんだそうで。
普通は全部のページをインデックスしてほしいんだから、こんなファイルは作っていないはずなんです。
私ももちろんこんなファイルは作ってない。
なんで今になって突然「robots.txtにアクセスできない」とかって言うねん？
そもそも、そんなファイル無いんやからアクセスできへんに決まってるやんか！
そらーもう、半ギレですわ。
どうしてこんなことになったのか原因は未だに不明。
でもすったもんだの挙句、以下のような対処をしたら、メールは来なくなりました。
備忘録を兼ねて記します。
ウェブマスターツール「Fetch as Google」で確認⇒robots.txtを作る
メールが来たサイトのウェブマスターツールのFetch as Googleを開きます。
空欄のままで「取得」を押してみると…。
「robots.txt にアクセスできません」と表示されます。
そもそもrobots.txtなんて作っていないのですからアクセスできなくて当たり前で、通常ならrobots.txtが存在しなくてもエラーになることはないはずなんです。
でもこのエラーが出るようになってしまったということは、何かしらの原因があって本来無くてもいいrobots.txtをグーグルさんが探しちゃってる、ということです。
グーグルさんがrobots.txtを探しててエラーを出しているのだから、「ぢゃ、robots.txtにアクセスできたら文句ないねんな？」ということで、robots.txtを作ってやることにします。
テキストエディタ（メモ帳でも可）で新規ファイルを作り
User-agent: *
Allow: /
と記載して名前を「robots.txt」にして保存します。robot.txtではないですよ。robots.txtですので要注意。
この意味は、「どのロボットさんも全部のページを読んでね」という内容です。
もしインデックスしてほしくないページがある場合は、ここに記載します。
以前はウェブマスターツールで、自動でrobots.txtを作成できるページがあったようですが、無くなってしまっているようです（2013年1月現在）ので、自力で作成しますよ～。
このファイルができたら、これをＦＴＰソフトでエラーの出ているサイトの最上位のディレクトリにアップロードしてやります。
私は、同じサーバーにおいているサブドメインのサイトほとんど全部にエラーが出ていたので、サブドメインの入っているフォルダ全部に１個ずつアップロードしました。
ウェブマスターツールFetch as Googleでrobots.txtを取得します
robots.txtをアップロードしたら、再度ウェブマスターツールのFetch as Googleを開き、「取得」を押します。
「成功しました」と表示されたら成功です！
もし再度「robots.txt にアクセスできません」と表示されたとしたら、２－３分待ってからもう一度ポチッと「取得」を押してみてください。
私も、robots.txtをアップロード後すぐに「取得」を押して、「robots.txt にアクセスできません」「ガーン（￣□||||！！」ってなことになりましたが、ちょっとだけ待てば反応してくれますのでご安心を。
「成功しました」の横に「インデックスに送信」と出たら、これもポチッと押しておきます。
これで、ウェブマスターツールがお探しのrobots.txtが出来上がったのですから、文句はないはず。
よしこい！グーグルっ！
次の日もウェブマスターツールからエラーメールが来るかも
と思ったのもつかの間。次の日も「robots.txtにアクセスできません」というエラーメールがウェブマスターさんから届くではありませんかっ！！！Σ(▼□▼ﾒ)ガーン。
私はここで焦りまくって、また１日を無駄に費やしてしまったのですが、どうやらグーグルさんには「タイムラグ」があるみたいなんですよね。
もしも１～２日、同じようなエラーメールが来たとしても様子を見てください。
私は２日後からはエラーメールが来なくなりましたので。
以上、全く知識のない私でもできた「robots.txtにアクセスできません」の対処法でした。
このトラブルの過程で教えてもらった、おススメサーバー。
次は絶対ここにします。
