更新日:

ホームページのインデックスがいきなり0に!意外な原因と解決法とは?

1.問題発覚

さっそくですがこちらの画像をご覧ください
WS000000

画像はgoogleの提供するSerch Console(旧ウェブマスターツール)で分析したインデックス数のグラフです。
ご覧のとおり、2016年からインデックス数が急激に少なくなりはじめ、そこから急降下..
1月12日にはついにインデックス数【0】。

 

WS000003

クロール・・・されていない・・・だと・・

このような事態に直面したのは初めてで、直感的にgoogleのペナルティかと思いました。
しかし、結論から言うとそうではなく、1月21日現在インデックス数は順調に回復してきています。

以下、発覚から回復までに行った作業をご紹介します。

 

 

 

2.ホームページの中身を見直す

ホームページに致命的な欠陥があるかどうか、調べてみました。
調べるツールはいろいろとありますが、googleの提供するツールを一つご紹介します。

PageSpeed Insights
https://developers.google.com/speed/pagespeed/insights/?hl=ja

ページの表示スピードを調べるサイトです。
測定結果が30台とか40台など極端に遅ければgoogleからの評価は下がると思います。

今回インデックスの消えてしまったページは57でしたので、まぁ早くは無いですが、致命的な数値ではありませんでした。

W3Cの提供するホームページチェックツール
https://validator.w3.org/

こちらも特に問題はありませんでした。。

 

 

 

3.ウェブマスターツールへGO

次に、サイトマップを作成し、Serch Console(旧ウェブマスターツール)から送信してみました。
数日間様子を見ましたが、効果なし。

 

改めてSerch Consoleをよく見てみると、robot.txtのエラーがかなり発生している模様。。

■robot.txtのエラー

WS000002

そして、ついに原因が判明しました。。

★robots.txtがクロールしてきた時に、サーバーエラーを返してしまうとインデックスが削除される

問題のサイトはロリポップサーバーを利用していますが、たまに応答しない時間があります。
今回は運悪く、その「サーバー応答なし(500エラー)」時間とロボットがクロールした時間が一致してしまったようです。

安いサーバーだから仕方ありませんね!(怒)

原因は判明しましたので、あとはgoogleに「もう一度クロールしに来てください」とお願いするだけです

通常2日ほどでクロールしてくれるようです。

robots.txtと呼ばれるテキストファイルをサイトの直下(トップページのあるところ)に入れておきます。
これ、本来は無くても問題ないファイルですが、今回のような事態に直面した場合は入れておきます。

robots.txtに以下を記述

User-Agent: *
Disallow:

日本語で「ロボットさん、僕を見て」と書いてあります。
その後、googleへクロールを依頼します。

Serch Consoleから「robots.txt テスター」を選択し、「送信」してください。

WS000004

「Fetch as Google」を選択し「取得」をクリック。
問題が無いことを確認します。

その後1周間程様子をみてください。

今回の問題のサイトはこれで回復しました。

 

 

 

4.まとめ

・indexがいきなり0になったらペナルティかどうか調べる
・robot.txtのエラーがあるかどうか、Serch Console(旧ウェブマスターツール)で調べる
・クロールエラーがあれば、robots.txtを作成しgoogleに送信する

以上です

コメントを残す

おすすめ記事