robots.txtのエラー確認方法Search Console活用術

このページでは、robots.txtの基本から、エラーの確認方法、よくあるエラーとその対処法まで詳しく解説していきますね。

robots.txtとは？ – Googleへの指示書

robots.txtとは、ウェブサイトのルートディレクトリ（一番上の階層、例: https://あなたのドメイン/robots.txt）に設置するテキストファイルのことです。

このファイルの役割は、検索エンジンのクローラーに対して、「どのページをクロール（情報収集）して良いか」「どのページはクロールしないでほしいか」を指示することです。

robots.txtの基本的な書き方

robots.txtは、シンプルなテキストで記述します。主に使われる指示は以下の通りです。

• User-agent: : どのクローラーに対する指示かを指定します。*（アスタリスク）を指定すると、すべてのクローラーが対象になります。
  • 例: User-agent: * (すべてのクローラー向け)
  • 例: User-agent: Googlebot (Googleのクローラー向け)
• Disallow: : クロールを禁止したいディレクトリ（フォルダ）やファイルを指定します。
  • 例: Disallow: /private/ (/private/ ディレクトリ以下をクロール禁止)
  • 例: Disallow: /confidential.html (/confidential.html ファイルをクロール禁止)
• Allow: : Disallowで禁止したディレクトリ内の一部について、クロールを許可したい場合に指定します。
  • 例: Disallow: /images/ (/images/を禁止)
  • 例: Allow: /images/logo.png (でも/images/logo.pngは許可)
• Sitemap: : XMLサイトマップの場所をクローラーに伝えます。（前回の記事で解説したサイトマップですね！）
  • 例: Sitemap: https://example.com/sitemap.xml

記述例:

User-agent: *
Disallow: /wp-admin/
Disallow: /login/
Allow: /wp-content/uploads/

Sitemap: https://example.com/sitemap.xml

(この例では、すべてのクローラーに対し、/wp-admin/と/login/ディレクトリへのクロールを禁止し、/wp-content/uploads/ディレクトリへのクロールは許可し、サイトマップの場所を伝えています。)

robots.txtは、なぜ重要？

robots.txtの記述を間違えると、検索エンジンにクロールしてほしい重要なページへのアクセスを意図せずブロックしてしまったり、逆にクロールされるべきでない管理画面などがクロールされてしまう可能性があります。

つまり、設定方法を誤ってしまうと、みんなに見てほしいページがGoogle検索に掲載されなくなったり、みんなに見てほしくないページがGoogle検索に掲載されてしまうなどの事故が起こる可能性があります。

そのため、正しく設定し、エラーがないか定期的に確認することが大切です。

なぜrobots.txtのエラー確認が必要なの？

もしrobots.txtにエラーがあると、次のような事故が起こる可能性があります。

• 見てほしいページが検索結果に出ない
• 見られたくないページが検索結果に出てしまう

さらに、次のような問題が起きると、サイトのパフォーマンスが下がる可能性があります。

• サイトのデザインや機能が正しく評価されない: CSSファイル（デザイン）やJavaScriptファイル（動き）へのクロールをブロックしてしまうと、Googleがページを正しくレンダリング（表示）できず、サイトの評価に影響が出ることがあります。
• クロール効率の低下: 不要なページへのクロールを許可してしまっていると、Googleのクローラーが効率的にサイトを巡回できなくなる可能性があります。

これらの問題を避けるために、どのように定期的なエラーチェックをすればよいのか見てまいりましょう。

robots.txtのエラーを確認する３つの方法

robots.txtが正しく機能しているか、エラーがないかを確認するには、主に以下の3つの方法があります。

方法1: Google公式「robots.txt テスター」で構文と動作を確認する

Googleは、robots.txtファイルの構文が正しいか、また特定のURLに対して意図した通りにクロールを許可またはブロックできているかを確認するためのテストツールを提供しています。

このツールは、現在のGoogle Search Consoleの主要なメニュー内には含まれていませんが、以下の方法でアクセスして利用できます（2025年4月時点）。Googleアカウントでのログインが必要です。

1. ツールにアクセス: ウェブブラウザで「robots.txt テスター」にアクセスします。（Googleで「robots.txt テスター」と検索しても見つかります。）
2. プロパティを選択: Search Consoleに登録しているウェブサイト（プロパティ）の一覧が表示されるので、確認したいサイトを選択します。
3. 構文チェック: 画面に現在のrobots.txtの内容が表示されます。Googleが認識している構文エラーや論理的な警告（例: Allow と Disallow の競合など）があれば、該当する行にエラー（赤色）や警告（黄色）のマークが表示されます。
4. URLテスト: 画面下部のテキストボックスに、サイト内の特定のURL（例: /blog/article1.html）を入力します。右側のプルダウンでテストしたい User-agent（例: Googlebot）を選択し、「テスト」ボタンをクリックします。
5. 結果の確認: 入力したURLが、表示されているrobots.txtのルールによって「許可されました (ACCEPTED)」または「ブロックされました (BLOCKED)」のどちらになるかが表示され、どのルールが適用されたかがハイライトされます。

このテスターを使えば、robots.txtファイルをサーバーにアップロードする前に構文エラーを発見したり、特定のページが意図通りにクロールされる（されない）設定になっているかを確認できます。
テキストエリア内で記述を編集して、その場でテストすることも可能です。

方法2: Google Search Console「ページのインデックス登録」レポートで確認する

現在のGoogle Search Consoleのインターフェース内で、robots.txtによってページがブロックされている状況を確認できます。

1. Search Consoleにログイン: 対象のプロパティを選択します。
2. レポートを開く: 左メニューの「インデックス作成」>「ページ」をクリックします。
3. 「ページがインデックスに登録されなかった理由」を確認: レポートの下部にある「ページがインデックスに登録されなかった理由」の表を確認します。
4. 「robots.txt によりブロックされました」を確認: この項目に数字が表示されている場合、robots.txtによってクロールがブロックされ、インデックス登録に至らなかったページがあることを示します。項目をクリックすると、該当するURLのリストを確認できます。

ここで意図せずブロックされている重要なページが見つかった場合は、robots.txtの記述を見直す必要があります。

方法3: Google Search Console「URL検査ツール」で確認する

特定のページのURLがrobots.txtによってブロックされているかをピンポイントで確認したい場合に便利です。

1. Search Consoleにログイン: 対象のプロパティを選択します。
2. URLを入力: 画面上部の検索窓に、確認したいページの完全なURLを入力し、Enterキーを押します。
3. 結果を確認: URL検査の結果が表示されます。「ページのインデックス登録」セクション（または「公開URLをテスト」の結果）の中に、「クロールを許可？」という項目があります。ここが「いいえ: robots.txt によりブロックされました」となっていたら、そのURLはrobots.txtによってブロックされています。

よくあるrobots.txtのエラーと対処法

robots.txtで起こりがちなエラーとその対処法をいくつか紹介します。

エラー1: 書き方の間違い（構文エラー）

Disallow: のスペルミス（例: Dissallow:）、コロン : のつけ忘れ、全角スペースの使用などが原因で、指示が正しく認識されないことがあります。

• 対処法: robots.txt テスターで構文エラーがないか確認し、正しい記述に修正します。半角英数字と記号で記述しましょう。

エラー2: 必要なファイルまでブロックしている

CSSファイル（スタイルシート）やJavaScriptファイル（スクリプト）をブロックしてしまうと、Googleがページを正しく表示・評価できなくなる可能性があります。

• 対処法: 以前はこれらをブロックすることも推奨されていましたが、現在はブロックしないのが一般的です。もし /css/ や /js/ などを Disallow している場合は、削除または Allow で必要なファイルのクロールを許可することを検討してください。URL検査ツールでページが正しくレンダリングされるか確認しましょう。

エラー3: サイト全体をブロックしている

Disallow: / という記述は、サイトのすべてのページへのクロールをブロックしてしまいます。意図しない限り、この記述は避けるべきです。

• 対処法: もしサイト全体をブロックする必要がないのにこの記述がある場合は、削除するか、必要なページを Allow するなど、意図に沿った記述に修正します。

エラー4: ファイルが見つからない (404エラー)

https://あなたのドメイン/robots.txt にアクセスした際に、ファイルが存在しない（404 Not Found）場合、クローラーはすべてのページをクロールして良いと判断します。通常は問題ありませんが、意図的に何かをブロックしたい場合はファイルを作成する必要があります。

• 対処法: クロールを制御したい場合は、空でも良いので robots.txt ファイルを作成し、サーバーのルートディレクトリにアップロードします。

エラー5: サーバーエラー (5xxエラー)

サーバー側の問題で robots.txt にアクセスできない（5xx Server Error）場合、Googleは一時的にクロールを控えることがあります。これが長期間続くと、サイト全体のクロールに影響が出る可能性があります。

• 対処法: サーバーのログを確認したり、ホスティング会社に問い合わせたりして、サーバーエラーの原因を解決する必要があります。

WordPressでのrobots.txt編集と注意点

WordPressサイトの場合、robots.txtの扱いに少し注意が必要です。

• 仮想robots.txt: WordPressは、物理的な robots.txt ファイルがルートディレクトリに存在しない場合、基本的なルールを含む「仮想robots.txt」を自動的に生成して応答します。
• SEOプラグインでの編集: Yoast SEOやRank MathなどのSEOプラグインには、管理画面からrobots.txtを編集できる機能がついている場合があります。ここで編集した内容は、仮想robots.txtまたは物理的な robots.txt ファイルに反映されます（プラグインによります）。
• 直接編集: ルートディレクトリに自分で robots.txt ファイルを作成・アップロード（FTPソフトやサーバーのファイルマネージャを使用）すると、そちらが優先されます。
• 注意点:
  • 自分で編集する場合、WordPressの基本的な動作に必要なファイル（例: テーマやプラグインのCSS/JSファイルの一部）を誤ってブロックしないように注意が必要です。
  • プラグインで編集した内容と、自分でアップロードしたファイルの内容が競合しないように管理しましょう。基本的にはどちらか一方の方法で管理するのがおすすめです。

まとめ

今回は、robots.txtとは何か、なぜエラー確認が重要なのか、そしてGoogle Search Consoleなどを活用した具体的な確認方法と対処法について解説しました。

robots.txtは、簡単なテキストファイルですが、記述一つでサイトのクロールやインデックスに大きな影響を与えます。「なんだか検索順位が上がらない」「特定のページが検索結果に出てこない」といった問題の原因が、実はrobots.txtにあった、というケースも少なくありません。

ぜひ、この記事を参考に、ご自身のサイトのrobots.txtを定期的にチェックする習慣をつけてみてくださいね。