サーチコンソールのサイトマップ登録は？ステータス別の次の一手

サイトマップの登録は、URLを1つ貼って[送信]を押すだけの操作です。迷うのはそのあとで、表に出たステータスが何を意味し、次に何をすればいいかです。

Search Console の登録を済ませて「サイトマップ」の画面を開いたものの、入れるURLが分からない人や、送ったあとに出た「成功」「取得できませんでした」「エラーがあります」が良いのか悪いのか判断できずにいる人に向けて書いています。

読み終えたときには、送信まで済ませたうえで、出ているステータスから次に開く画面と、読むべき記事が決められるはずです。

送信する前に、送るかどうかと権限だけ確かめる

サイトマップ レポートのヘルプ自身が、およそ500ページ以下でホームページからリンクをたどって全ページに行けるサイトなら、サイトマップもこのレポートも使う必要は「おそらく」ない、と書いています。送るかどうかの判断材料はサイトマップは必要か・robots.txtの書き方、個人ブログは無くても困りにくいにまとめたので、ここでは送ると決めた人の手順に絞ります。

もうひとつは権限です。自分で登録したプロパティなら所有者なので、ここは気にしなくて構いません。人のプロパティを手伝う場合だけ注意が要ります。サイトマップ レポートのヘルプは「サイトマップ レポートを使用してサイトマップを送信するには、プロパティのオーナー権限が必要です。オーナー権限がない場合は、サイトマップ レポートを使用して送信する代わりに、robots.txt ファイルにサイトマップの場所を記載することもできます。」と書いています。一方で権限のヘルプの表では、「サイトマップの送信」に所有者とフルユーザーの両方の印が付いています。公式の2ページで書き方が違うので、フルユーザーで送れなかったときは、所有者に送ってもらうか、ヘルプの案内どおり robots.txt に場所を書く方法を取ってください。制限付きユーザーは、どちらのページでも送信できない側です。権限の種類はサーチコンソールの権限、見せるだけならフルユーザーで足りますにあります。

サイトマップ レポートで送信する手順

最初に押さえておきたいのは、送信で何が起きるかです。ヘルプは「サイトマップの「送信」とは、サイトマップがサイト上のどこにあるかを Google に通知することを意味します。Google に実際にサイトマップをアップロードすることはできません。」と書いています。ファイルはあくまで自分のサイトに置いたままで、Googleはそこへ取りに来ます。だから送信の前に、そのURLが外から開けるかを確かめます。

1. サイトマップのURLをブラウザで開く。多くのCMSは自動でサイトマップを作っていますが、URLは仕組みごとに違います。WordPressは本体とSEOプラグインでURLが変わることがあり、どこを開けばいいかと、サイトマップが2系統できていないかの見方はWordPressのSEOプラグインは必要？に書きました
2. そのURLをURL検査に入れ、ライブテストで[ページの取得]を見る。ヘルプの手順は「公開 URL の検査を行い、[ページの取得] の結果が「成功」であることを確認します。」です。ブラウザで開けても、Googlebotから取れるとは限らないので、ここで確かめます
3. サイトマップ レポートの[新しいサイトマップの追加]に貼り、[送信]を押す。ヘルプの原文は「サイトマップ レポートを開いてステップ 3 でテストした URL をコピーし、サイトマップ レポート内の [新しいサイトマップの追加] ボックスに貼り付け、[送信] をクリックします。」です(ヘルプでは1番目がオーナー権限の確認なので、テストが3番目になっています)
4. 表の行に出たステータスを見る。ヘルプは「サイトマップがすぐに取得されます。」としたうえで、記載されたURLのクロールには時間がかかることがあり、サイトのサイズやアクティビティ、トラフィックなどによってはすべてのURLがクロールされるとは限らない、と続けています

robots.txt にサイトマップの場所を書いてあっても、レポートから送る意味はあります。Search Central の「サイトマップの作成と送信」は、送信の方法としてサイトマップ レポート・Search Console API・robots.txt の3つを挙げ、レポートで送る利点を「これにより、Googlebot がいつサイトマップにアクセスしたかや、発生する可能性のある処理エラーを確認できます。」と書いています。逆に言うと、レポートから送っていないサイトマップは、取得できているかをこの画面で確かめられません。

送ったはずのサイトマップが一覧に出ないとき

サイトマップ レポートのヘルプには「このレポートには、このレポートまたは API で送信したサイトマップのみが表示されます。robots.txt の参照によって検出されたサイトマップや、その他の方法で検出されたサイトマップは表示されません。」とあります。レポートから送ったのに見当たらない場合は、開いているプロパティが違う可能性があり、ヘルプは http と https、www の有無のプロパティを取り違えていないか確かめるよう書いています。プロパティの種類の違いはサーチコンソールの登録方法は？ブログサービスで決まる種類と確認方法にあります。

ステータスは3つ、どれが出たかで次にやることが決まる

表のステータスは、そのサイトマップに対する最新のリクエストの結果です。Googleがサイトマップのファイルを取りに行けたか、読めたかを表していて、ページがインデックスされたかどうかではありません。ヘルプの表記(ステータス列の説明)で並べるとこうなります。

3つ目は、同じヘルプの冒頭の一覧ではエラーの件数を入れた形で書かれています(英語版も "Sitemap had X errors" と "Has errors" の2通り)。また、送った直後はタイプの欄が「不明」になっていることがあり、ヘルプは「不明」を「送信されたファイルが既知のタイプのサイトマップではないか、サイトマップがまだ処理されていないことを示します。」と説明しています。

「成功」でも、検出されたページがインデックスされたとは限らない

成功と出ると、送った記事が全部検索に載ったように見えます。ところが成功が保証しているのは、サイトマップのファイルが読めて、載っていたURLがクロールの順番待ちに入ったことまでです。表の「検出されたページ数」について、ヘルプははっきり書いています。

…サイトマップで検出されたページの URL が、Google によってクロールまたはインデックス登録された、またはされるとは限りません。サイトマップでページのインデックス登録レポートをフィルタすると、このサイトマップ内でインデックスに登録されているページ URL の数を確認できます。
— Google公式ヘルプ(サイトマップ レポート)

だから成功のあとは、次の2つを見ます。

① 検出されたページ数を、公開している記事数と比べる

検出されたページ数は、サイトマップを解析して得られたURLの数です(サイトマップ インデックスなら子サイトマップの合計で、重複は1回だけ数えます)。公開している記事の数と大きく違うなら、インデックスより前に、サイトマップに何が載っているかを疑います。少なすぎれば載っていない記事が、多すぎれば記事以外のページが載っている可能性があります。サイトマップのURLをブラウザで開けば、中身は目で確かめられます。

② ページのインデックス登録レポートを、そのサイトマップで絞る

インデックスに登録された数は、サイトマップ レポートではなく「ページ」(ページのインデックス登録)レポートで見ます。ページ インデックス登録レポートのヘルプによると、グラフの上のサイトマップのフィルタには「特定のサイトマップ URL - サイトマップ レポート、またはサイト上の robots.txt ファイルを使って送信された特定のサイトマップまたはサイトマップ インデックスに記載されている URL のみを表示します。」という選択肢があります。これで、そのサイトマップに載せたURLのうち何本が登録済みで、残りがどの理由で未登録なのかが分かります。

未登録の理由ごとの読み方と、何から確かめるかはインデックスされない原因は2系統に分かれる、確認できるものから潰すにまとめています。成功しているのに登録が進まないからといって送り直しても、渡せる情報は増えません(サイトマップは必要か・robots.txtの書き方の「やりがちで、効かないこと」)。

このブログでも、サイトマップの状態と、検索結果に出ているページ数の差は記録に残っています。9月上旬の確認では、サイトマップは警告・エラーとも0(Search Console の報告は125件)でしたが、同じ確認で8月8日〜9月5日に検索結果へ一度でも表示されたページは71でした。表示されたかどうかはインデックスとも別の数字ですが、サイトマップが成功していることと、記事が検索に出ていることは別々に確かめるものだという点は同じです。

「取得できませんでした」は、理由ごとに見る場所が違う

取得できませんでしたは、Googleがサイトマップのファイルそのものを取れなかったという意味です。ヘルプは「考えられる理由には以下のようなものがあります。」として5つを挙げています(これで全部だとは書いていません)。どれに当たるかで、直す場所がまったく違います。

取得できない理由を調べる手順も、ヘルプに書かれています。サイトマップのURLをURL検査に貼ってライブテストを実行し、[クロールを許可？]が[はい]、[ページの取得]が[成功]になっているかを見る、という手順です。私の読みでは、[クロールを許可？]が「いいえ」なら robots.txt のルール、[ページの取得]が失敗なら、URLの誤りやサーバーなど、ファイルに届いていない側の問題です。手動による対策とクロールの必要性の低さはこのテストでは分からないので、手動による対策は手動による対策レポートで確かめます。

[ページの取得]に「失敗しました: robots.txt にアクセスできません」と出ていたら、robots.txt のルールではなく、サーバーやDNSから返事が返っていない状態です。手順の原文と、そこから先の直す順番はサイトマップの「robots.txt にアクセスできません」はサーバー側の問題ですに書きました。この記事の表でいえば「その他の一般的なエラー」の行に当たると私は読んでいます。

「エラーがあります」は、サイトマップの中身の書き方の問題

エラーがありますは、ファイルは取れたのに、中身を読む途中で問題が見つかった状態です。ヘルプは「サイトマップ内の個々の URL に問題があっても、サイトマップを取得して全般的に読み取れる限り、Google はサイトマップの読み取りを継続します。」と書いており、エラーの無いURLは処理されています。サイトマップ全体が無駄になったわけではありません。

詳細ページでエラー名を見て、ヘルプの「サイトマップ解析エラー」の一覧と照らします。一覧は長く、ヘルプ自身「このリストはすべてのエラーを網羅しているわけではありません」と書いています。個人ブログで当たりやすそうな主なものを挙げます。

サイトマップをCMSやプラグインが自動で作っているなら、直す先はサイトマップのファイルではなく、作っている側の設定(サイトのURLの設定など)です。手でファイルを書き換えても、次に作り直されたときに元へ戻ります。

直したら送り直す。送るのをやめたいときは削除しても記事は消えない

取得できませんでした・エラーがありますを直したら、サイトマップを送り直します(「一時的なエラー」だけは、ヘルプは通常は再送信の必要はないとしています)。ヘルプは、取得に失敗するとGoogleは数日間再試行し、引き続きアクセスできない場合や重大なエラーがある場合は取得を止めるとしたうえで、「その場合は、問題を修正し、新しいリクエストでサイトマップを再送信する必要があります。」と書いています。直さずに送り直しても、同じ結果が返るだけです。

URLを変えたなどの理由で古いサイトマップを一覧から外したいときは、詳細ページから削除できます。ただしヘルプは「サイトマップを削除すると、このレポートからサイトマップが削除されますが、Google ではサイトマップまたはサイトマップに含まれる URL は削除されません。」と書いています。一覧から消すことと、記事が検索から消えることは関係ありません。

よくある質問

サイトマップの欄には、どのURLを入れればいいですか

自分のサイトでサイトマップが置かれているURLです。CMSが自動で作っている場合は、そのCMSやプラグインの説明に書かれた場所になります。入れる前にブラウザで開けることと、URL検査のライブテストで[ページの取得]が成功になることを確かめてください(手順1・2)。

送信した直後に「取得できませんでした」と出ました

まず送ったURLをブラウザで開き、404になっていないかを見ます。開けるなら、URL検査のライブテストで[クロールを許可？]と[ページの取得]を確かめます。サーバーが一時的に応答しなかった場合は、ヘルプも「少し待ち、その後の Google によるクロールでこのエラーが継続して検出されるかどうかを確認してください。」と書いているので、原因が見つからなければ少し時間を置いて表示を見直します。

「成功」なのに、記事が検索に出てきません

成功はサイトマップのファイルが読めたという結果で、記事がインデックスされたという結果ではありません。「ページ」レポートをそのサイトマップで絞り、登録されていないURLの理由を見てください。理由ごとの見方はインデックスされない原因は2系統に分かれるにあります。

サイトマップを何度も送信すると、早くインデックスされますか

成功しているサイトマップを送り直しても、伝わる情報は変わりません。送り直すのは、サイトマップを直したときや大きく変えたときです。公式がどの場合に再送信を勧めているかはサイトマップは必要か・robots.txtの書き方に原文で書きました。

サイトマップをレポートから削除したら、記事も検索から消えますか

消えません。ヘルプは、削除してもレポートから消えるだけで、Google がサイトマップやそこに載っていたURLを忘れるわけではない、と書いています。

まとめ

• サイトマップの送信は、ファイルの場所を Google に知らせる操作。サイトマップのURLをブラウザとURL検査のライブテストで確かめてから、サイトマップ レポートの[新しいサイトマップの追加]に貼って[送信]する。人のプロパティで送るときは権限に注意(サイトマップ レポートのヘルプはオーナー権限が必要と書き、権限のヘルプの表はフルユーザーにも印を付けている)
• 表のステータスは、Googleがサイトマップのファイルを取得して読めたかどうかの結果で、ページがインデックスされたかどうかではない
• 成功なら、検出されたページ数を公開している記事数と比べ、「ページ」レポートをそのサイトマップで絞って登録された数と未登録の理由を見る。検出されたページがクロール・インデックス登録されるとは限らない
• 取得できませんでしたは、ヘルプに理由が5つ(robots.txt のルール・手動による対策・URLの誤り・サーバーなどのその他のエラー・クロールの必要性が低い)挙がっている。URL検査のライブテストで robots.txt のルールか、ファイルに届いていないのかを確かめ、手動による対策は手動による対策レポートで見る
• エラーがありますは中身の書き方の問題で、エラーの無いURLは処理されている。自動で作られたサイトマップなら、作っている側の設定を直す
• 直したら送り直す。直さずに送り直したり、成功しているサイトマップを繰り返し送ったりしても、結果は変わらない。レポートから削除しても記事は検索から消えない

ここからは、私が作ったツールの話になります。

サイトマップが成功して記事がインデックスされ、検索結果に出始めると、次は「どの記事から直すか」を決める段階になります。そこを自動でやるツールを作りました。サーチコンソールのエクスポートをZIPのまま置くだけで、4.0〜20.5位のページを、表示回数100回以上は通常判定、30〜99回は参考判定、30回未満は本文中心の監査に分け、この順に、同じ区分の中ではCTR機会差の多い順に並べて出します。 判定と候補3記事のCTR機会差の確認、そのうち1記事分の診断カードまでは無料です。有料は2,980円(税込)の買い切りで、無料の1件を除いた3記事分の診断カードが対象です。3記事分が揃うとき(判定に出た候補が4件以上のとき)だけご案内します。生成の利用期限は購入から7日間で、月額課金や自動更新はありません。ログインも不要です。 CSVファイルそのものはブラウザの外に出ませんが、診断カードを出すときは選んだ1ページぶんの数値(URL・キーワード・順位・表示回数・CTR)を、タイトル取得を押したときは最大10件のURLを送ります。

⚠️ ただし、この記事の作業そのものには使えません。サイトマップの状態やインデックス登録の状況は診断しませんし、読むのは検索結果に表示されたページの数字だけなので、まだインデックスされていない記事はデータに出てきません。掲載順位4.0〜20.5位に入るページが無いブログでは、候補が0件になることがあります。