更新日： 2016/01/21

ホームページのインデックスがいきなり0に！意外な原因と解決法とは？

1.問題発覚

さっそくですがこちらの画像をご覧ください

画像はgoogleの提供するSerch Console(旧ウェブマスターツール）で分析したインデックス数のグラフです。
ご覧のとおり、2016年からインデックス数が急激に少なくなりはじめ、そこから急降下..
1月12日にはついにインデックス数【0】。

クロール・・・されていない・・・だと・・

このような事態に直面したのは初めてで、直感的にgoogleのペナルティかと思いました。
しかし、結論から言うとそうではなく、1月21日現在インデックス数は順調に回復してきています。

以下、発覚から回復までに行った作業をご紹介します。

ホームページに致命的な欠陥があるかどうか、調べてみました。
調べるツールはいろいろとありますが、googleの提供するツールを一つご紹介します。

ページの表示スピードを調べるサイトです。
測定結果が30台とか40台など極端に遅ければgoogleからの評価は下がると思います。

今回インデックスの消えてしまったページは57でしたので、まぁ早くは無いですが、致命的な数値ではありませんでした。

W3Cの提供するホームページチェックツール
https://validator.w3.org/

こちらも特に問題はありませんでした。。

次に、サイトマップを作成し、Serch Console(旧ウェブマスターツール）から送信してみました。
数日間様子を見ましたが、効果なし。

改めてSerch Consoleをよく見てみると、robot.txtのエラーがかなり発生している模様。。

■robot.txtのエラー

そして、ついに原因が判明しました。。

★robots.txtがクロールしてきた時に、サーバーエラーを返してしまうとインデックスが削除される

問題のサイトはロリポップサーバーを利用していますが、たまに応答しない時間があります。
今回は運悪く、その「サーバー応答なし(500エラー)」時間とロボットがクロールした時間が一致してしまったようです。

安いサーバーだから仕方ありませんね！（怒）

原因は判明しましたので、あとはgoogleに「もう一度クロールしに来てください」とお願いするだけです

通常２日ほどでクロールしてくれるようです。

robots.txtと呼ばれるテキストファイルをサイトの直下（トップページのあるところ）に入れておきます。
これ、本来は無くても問題ないファイルですが、今回のような事態に直面した場合は入れておきます。

robots.txtに以下を記述

User-Agent: *
Disallow:

日本語で「ロボットさん、僕を見て」と書いてあります。
その後、googleへクロールを依頼します。

Serch Consoleから「robots.txt テスター」を選択し、「送信」してください。

「Fetch as Google」を選択し「取得」をクリック。
問題が無いことを確認します。

その後１周間程様子をみてください。

今回の問題のサイトはこれで回復しました。

・indexがいきなり0になったらペナルティかどうか調べる
・robot.txtのエラーがあるかどうか、Serch Console(旧ウェブマスターツール）で調べる
・クロールエラーがあれば、robots.txtを作成しgoogleに送信する

以上です