「インデックスに登録されましたが、robots.txtによりブロックされています」は警告です

画面にその文字列が出ていて、何が起きているのか読み取れない。1つの行に「登録されました」と「ブロックされています」が同居しているので、成功の報告なのか失敗の報告なのか決まりません。

しかも調べに行くと、robots.txtという言葉が入った項目がもう1つ出てきます。検索語の後半だけを見ると、そちらの解説を読んでいても気づけません。

結論を先に書きます。これは、Googleがそのページを取りに行っていないのに、URLだけが検索結果に出ている状態の報告です。ブロックは効いています。効いていないのは「検索結果から消す」ほうです。robots.txtはもともとそのためのファイルではないからです。

直す必要があるかどうかは、そのURLを検索結果に出したいのか出したくないのかで決まります。ただしどちらの場合も、公式が案内している最初の一手はrobots.txtのブロックを外すことです。

まず、よく似たもう1つの項目と切り離す

同じレポートには、robots.txtという言葉が入った項目が2つあります。片方は未登録の理由、もう片方が警告で、言っていることはほとんど逆です。

この記事は下の行、警告のほうだけを扱います。上の行、つまり取りに行かれなかった側にURLが並んでいる場合は「robots.txtによりブロックされました」は取りに行かなかったという報告ですをご覧ください。どのルールが効いているのかを探す手順も、そちらに書いてあります。

⚠️ 文言について先に補足します。この記事で扱っている言い回しと、公式ヘルプの現在の項目名は語順が違います。2026年9月10日にページのインデックス登録レポートの日本語ヘルプの本文を取得して全文を検索したところ、「登録されましたが」という並びは1件も出てきませんでした。このページでの項目名は「robots.txt によりブロックされましたが、インデックスに登録しました」です。 同じページの英語版では見出しが「Indexed, though blocked by robots.txt」で、HTMLのアンカーも日本語版と同じindexed_though_blocked_by_robots_txtです。検索語のほうは、この英語の語順に沿った言い回しになっています。確認したのはこのページの日本語版と英語版の本文だけで、Search Consoleの画面表示そのものは照合していません。指しているものは同じなので、意味は以下に引くとおりに読んで差し支えありません。

この警告は何を言っているのか

公式ヘルプの説明の全文はこうなっています。

このページはウェブサイトの robots.txt ファイルによりブロックされましたが、インデックスに登録されています。Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません。Google がページをリクエストおよびクロールすることはありませんが、ブロックされているページにリンクしているページの情報を使用して、インデックスに登録する可能性があります。また、robots.txt ルールが原因で、Google 検索結果に表示されるこのページのスニペットの内容が非常に限られたものとなる可能性があります。
— Google公式ヘルプ「ページのインデックス登録レポート」

読み取るべき点は2つです。1つは「Google がページをリクエストおよびクロールすることはありません」、つまりブロックは効いているということ。 もう1つはそれでも登録されうるということです。

そしてこれは、エラーではなく警告として置かれています。同じヘルプの警告の節は、こう始まります。

警告は、ページ インデックス レポートの概要ページの [ページ エクスペリエンスの改善] の表に表示されます。これらの問題によってページがインデックスに登録されないわけではありませんが、Google によるページの認識とインデックス登録の能力は低下します。
— Google公式ヘルプ

インデックス登録を妨げている問題ではない、と明記されています。ただし放っておいてよいとも書かれていません。同じヘルプは、この表について「[ページ エクスペリエンスの改善] の表には、ページ インデックス登録の妨げにならなかった問題が記載されます。Google がページをより適切に理解できるよう修正することをおすすめします」と説明しています。未登録のエラーとは急ぎ方が違う、という程度に受け取るのが実際に近いはずです。

同じ警告の節には、もう1つ項目が並んでいます。読み方は 「コンテンツのない状態でページがインデックスに登録されています」は登録済みなのに警告？登録は通っていて中身だけ届いていないにまとめました。

なぜ「ブロックしたのに登録されている」が両立するのか

robots.txtが決めているのは「取りに行くか」だけで、「検索結果に載せるか」は別の判断だからです。公式ドキュメントの定義がそのまま書いています。

robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。これは主に、サイトでのリクエストのオーバーロードを避けるために使用するもので、Google にウェブページが表示されないようにするためのメカニズムではありません。Google にウェブページが表示されないようにするには、noindex を使用してインデックス登録をブロックするか、パスワードでページを保護します。
— Google公式「robots.txt の概要」

取得を止める道具で、掲載を止めようとしている。これから挙げる3つは、全部この1点から出ています。

① 中身を読まないまま、URLだけが登録されることがある

載せるかどうかの判断は、ページの外にある情報だけでも成り立ちます。公式ドキュメントは、robots.txtの制約の1つとしてこれを見出しに立てています。見出しは「robots.txt で許可していないページが他のサイトからリンクされている場合、そのページはインデックスに登録される可能性がある」で、本文はこうです。

Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。そのため、該当の URL アドレスや、場合によってはその他の公開情報（該当ページへのリンクのアンカー テキストなど）が、Google 検索結果に表示されることもあります。(略)
— Google公式「robots.txt の概要」

引き金として公式が挙げているのはリンクです。レポート側のヘルプも「他のユーザーがページにリンクしている場合」と書き、同じページのFAQでも「また、Google はさまざまな方法（別のサイトからのリンクなど）でページを検出する可能性があります」と書いています。

⚠️ 自分のサイトの中のリンクが同じように引き金になるかどうかまでは、今回確認した2ページには書かれていませんでした。書かれているのは「他のユーザーが」「ウェブ上の他の場所から」という書き方です。そこは断定せずに読んでください。

なお、レポートのヘルプは未登録側の項目の説明でも同じ現象に触れていて、「たとえば、Google がページを読み込む以外の方法でそのページに関する他の情報を検出した場合に、ページがインデックスに登録される場合があります（ただし、そうした事例はごくまれです）」と書いています(部分引用です)。この警告に並んでいるURLは、その「登録される場合」に当たっているほうです。

② 登録されても、Googleは中身を持っていない

取りに行っていない以上、検索結果に出せる材料はURLと外側の情報だけです。だから検索結果の見た目が痩せます。ここについては、公式の書き方が3つのページで少しずつ違います。

3つとも方向は同じですが、断定の強さが違います。だからこの記事では、いちばん弱い書き方に合わせて「説明文が出ない、または非常に限られることがある」と読んでおきます。検索結果でタイトルだけが浮いていたり、説明文の欄が空だったりしたら、この状態を疑う材料になります。

③ ブロックしたままでは、この行は消えない

ページの中に「載せないでほしい」と書いても、取りに行かれない以上その指示は読まれません。公式のnoindexの解説は、重要の枠で「noindex ディレクティブを有効にするためには、robots.txt ファイルでページやリソースをブロックせず、クローラがページにアクセスできるようにする必要があります」と書いています。

なぜ打ち消し合うのかという仕組みと、直すときの順序、robots.txtの書き方そのものはサイトマップは必要か・robots.txtの書き方、個人ブログはほぼ不要にまとめてあります。この記事では立ち入りません。

判断することは1つだけ

そのURLを検索結果に出したいのか、出したくないのか。決めるのはこれだけです。公式ヘルプも、この項目の「次のステップ」を2つに分けて書いています。

気づいてほしいのは、2つとも解除から始まっていることです。出したい場合はもちろん、出したくない場合も、いったんブロックを外します。取りに来てもらわないと、こちらの「載せないでほしい」が届かないからです。

ここは直感に反します。消したいのに塞ぐのをやめる、という手順になるからです。 公式ヘルプは、出したくない側について前置きもはっきり書いています。

このページを Google 検索からブロックしたい場合、robots.txt を使用する方法はインデックス登録を回避する正しい方法ではありません。
— Google公式ヘルプ

ブロックを外す側の作業、つまりrobots.txtのどのルールがそのURLに当たっているのかを探す手順は「robots.txtによりブロックされました」は取りに行かなかったという報告ですに書いてあります。noindexを実際にどこへ書くのか、どこを探せば見つかるのかは「noindexタグによって除外されました」は正常、直すのは意図と違うときだけのほうです。この記事では手順を繰り返しません。

出したくないときの選択肢

「検索結果に出したくない」と決めたとき、robots.txt以外に何を使うのか。今回確認した公式3ページが挙げているのは、次のものです。これで全部という意味ではなく、この3ページに載っている範囲です。

上4つの出典はrobots.txtの概要とレポートのヘルプです。前者は「特定の URL が Google 検索の検索結果に表示されるのを確実に防ぐには、サーバー上のファイルをパスワードで保護するか、noindex meta タグまたはレスポンス ヘッダーを使用する、もしくは該当ページを完全に削除する必要があります」と3つを並べています。

⚠️ 1つだけ、公式どうしで温度差があります。非表示ツールのヘルプは「完全に非表示にする」手段を挙げるとき、noindexメタタグについて「この方法は、他の方法と比較して安全性が低くなります」と付け加えています。検索結果に出したくないだけならnoindex、そもそも誰にも見せたくないならパスワード保護か削除、という読み分けになります。

削除を選ぶ場合、404と410と301のどれを返すかは別の判断です。記事の削除で404と410どちらを返すか、301・noindexとの使い分けに整理しています。この記事では信号の選び方には触れません。

急いで消したいときと、その限界

個人情報が出ているなど、次のクロールを待てない事情があるときは非表示ツールを使います。ただしこれは時間を買う道具で、片付ける道具ではありません。公式が示している期間には限りがあり、切れたあと、ページとリンクが残っていれば同じ問題が再び出てくることがあります。

何ができて何ができないか、使うべきでない場面はどこかはサーチコンソールの削除ツールは消す道具ではない、約6か月だけ隠れますにまとめました。この記事では扱いません。

片付けるほうは、さきほどの手順に戻ります。robots.txtのブロックを外し、noindexなり認証なりを置く。反映されるのは、Googleが次にそのページを取りに来たときです。

片付いた後にやること

この警告を読み終えると、たいていは「塞いだつもりのURLだった」か「塞ぐ道具を間違えていた」のどちらかで終わります。そのとき残るのは、ちゃんと検索結果に出ているページのほうをどうするかという問題です。

ここから先は、インデックスの話ではなく順位とクリックの話になります。使う道具も変わります。選択肢としては、たとえば次のような分かれ方をします。

• サーチコンソールの検索パフォーマンスをそのまま見る。 追加の道具は要りませんが、表示回数・クリック数・掲載順位を自分で見比べる手間がかかります
• Looker Studioなどにつないで表を作る。 自由に加工できますが、作るまでの設定が要ります
• スプレッドシートにCSVを落として並べ替える。 誰でもできますが、毎月同じ手順を踏むことになります
• リライト候補の抽出に特化したツールを使う。 判断は速くなりますが、道具ごとに前提と得意分野が違います

検索パフォーマンスのどこを見るかはサーチコンソールでリライト記事をどう選ぶ？迷わない判定基準と手順に、インデックスされない原因の全体の切り分けはインデックスされない原因は2系統に分かれる、確認できるものから潰すに整理しています。

よくある質問

「インデックスに登録されましたが、robots.txtによりブロックされています」とはどういう意味ですか

Googleがそのページを取りに行っていないのに、URLが検索結果に登録されている、という意味です。公式ヘルプは「Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません」と説明しています。ブロックは効いていて、効いていないのは検索結果から消すほうです。

これはエラーですか。すぐ直さないといけませんか

エラーではなく警告です。公式ヘルプは警告について「これらの問題によってページがインデックスに登録されないわけではありませんが、Google によるページの認識とインデックス登録の能力は低下します」と書いています。ただし同じヘルプは、この表について「…Google がページをより適切に理解できるよう修正することをおすすめします」とも書いています。放置してよいという書き方はされていません。

「robots.txtによりブロックされました」との違いは何ですか

そのURLが検索結果に出ているかどうかが逆です。未登録側の項目は取りに行かなかったという報告で、そのURLは検索結果に出ていません。この警告は、取りに行っていないのに出ている状態です。未登録側については「robots.txtによりブロックされました」は取りに行かなかったという報告ですをご覧ください。

ブロックしているのに、なぜ登録されるのですか

robots.txtが決めているのは取りに行くかどうかだけで、載せるかどうかは別の判断だからです。公式ドキュメントは「…ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります」と書いています(前半は「Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、」と続く文です)。中身を読まなくても、リンク元の情報だけで登録できてしまいます。

robots.txtにnoindexと書けば消えますか

消えません。その書き方はサポートされていません。公式ドキュメントは「robots.txt ファイルで noindex ルールを指定することは、Google ではサポートされていません」と明記しています。置く場所はページ側です。

検索結果に出ているのに、説明文が空だったり変だったりします

Googleが中身を持っていないからです。公式の書き方は「ウェブページが robots.txt ファイルでブロックされている場合、検索結果にその URL が表示されることはありますが、説明は表示されません」(robots.txtの概要)、「…robots.txt ルールが原因で、Google 検索結果に表示されるこのページのスニペットの内容が非常に限られたものとなる可能性があります」(レポートのヘルプ)と、ページによって強さが違います。いずれにせよ、ブロックを外して取りに来てもらわない限り材料は増えません。

今すぐ検索結果から消したいのですが

非表示ツールで一時的に消せますが、その効果は期限付きです。公式ヘルプは「リクエストによってページがブロックされる期間は約 6 か月間です」と書いています。恒久的にするには、ブロックを外したうえでnoindexを置くか、認証をかけるか、ページを削除する必要があります。

まとめ

• これは、ブロックしたままURLが検索結果に出ている状態の報告。ブロックは効いていて、効いていないのは検索結果から消すほう
• 未登録側の「URL が robots.txt によってブロックされています。」とは意味が逆。あちらは出ていない側で、この警告は出ている側
• エラーではなく警告。公式は「これらの問題によってページがインデックスに登録されないわけではありませんが、Google によるページの認識とインデックス登録の能力は低下します」と書く一方、同じ表について「…Google がページをより適切に理解できるよう修正することをおすすめします」とも書いている
• 両立する理由は、robots.txtが「取りに行くか」だけを決めているから。公式いわく「…Google にウェブページが表示されないようにするためのメカニズムではありません」で、リンクされていれば中身を読まないままURLが登録されうる
• 登録されても中身は持っていないので、説明文が出ない、または非常に限られることがある。公式3ページで書き方の強さが違うので、断定はしない
• 判断は「そのURLを検索結果に出したいか」の1つだけ。ただしどちらに転んでもrobots.txtのブロックは外すことになる。出したくない側は、公式いわく「…robots.txt によるブロックを削除して、さらに「noindex」を使用してください」
• 非表示ツールは時間を買う道具。公式は「非表示ツールは、約 6 か月間の一時的な非表示のみを行います」と書いている。その期間が切れたあと、ページとリンクが残っていれば再び表示されうる

ここから先は、私が作ったツールの話です。

リライトレーダーは、この記事の「片付いた後にやること」で書いたすでに検索結果に出ているページの側を扱います。 Search Console のエクスポートをZIPのまま落として貼るだけで、掲載順位4.0〜20.5位・表示回数100回以上のページだけを拾い、改善余地スコアの大きい順に並べます。判定と候補3記事の改善余地スコアの確認、そのうち1記事分の診断カードまでは無料で、残りの診断カードが2,980円(税込)の買い切りです。月額課金や自動更新はありません。ログインも不要です。CSVファイルそのものはブラウザの外に出ません(送るのは、診断カードを出すときは選んだ1ページのURL・数値・入力したキーワード、「ページタイトルを取得する」を押したときは判定に出たページのURL最大10件です)。

⚠️ ただし、向かない人がいます。この警告を調べに来た人には、この時点では向きません。robots.txtもnoindexもインデックス登録も扱っていません。読むのは、すでに検索結果に出ているページの4つの数字だけです。 また、表示回数が2桁で止まっているサイトにも向きません。判定の条件が表示回数100回以上なので、対象になるページが1つも出ないからです。