日本語English

robots.txt テスター

robots.txt を貼り付けると、指定した URL が Googlebot や AI クローラーに「許可」か「ブロック」かと、どの行のルールが効いたかがすぐ分かります。つづりの誤りや Google が無視する命令も指摘します。

端末内で処理・アップロードなし

ファイルや入力内容はお使いの端末（ブラウザ）の中だけで処理され、サーバーへは送信されません。

robots.txt の内容

サイトの robots.txt を貼り付けるか、ファイルを開いてください。

URL をテスト

例: /admin/、https://example.com/search?q=1

URL / パス判定適用されたルール
/該当グループなし（すべて許可）
/admin/settings該当グループなし（すべて許可）
/admin/help/faq該当グループなし（すべて許可）
/search?q=robots該当グループなし（すべて許可）
/docs/manual.pdf該当グループなし（すべて許可）
/products?sessionid=123該当グループなし（すべて許可）

主要クローラーのアクセス可否（トップページ「/」）

検索エンジンと AI（LLM）向けクローラーが、サイトのトップページを取得できるかを一覧にします。

検索エンジン

  • GooglebotGoogle
  • BingbotMicrosoft
  • ApplebotApple
  • YandexBotYandex
  • BaiduspiderBaidu
  • DuckDuckBotDuckDuckGo

AI・LLM

  • Google-ExtendedGoogle (Gemini / AI training)
  • GPTBotOpenAI
  • OAI-SearchBotOpenAI (search)
  • ChatGPT-UserOpenAI (user requests)
  • ClaudeBotAnthropic
  • Claude-UserAnthropic (user requests)
  • PerplexityBotPerplexity
  • Applebot-ExtendedApple (AI training)
  • CCBotCommon Crawl
  • BytespiderByteDance
  • meta-externalagentMeta

SNS プレビュー

  • TwitterbotX
  • facebookexternalhitMeta

使い方

  1. サイトの robots.txt（https://ドメイン/robots.txt）の内容を左の欄に貼り付けるか、「ファイルを開く」で読み込みます。

  2. クローラー（User-agent）を選びます。Googlebot・Bingbot のほか、GPTBot・ClaudeBot などの AI クローラーも選べます。

  3. テストしたい URL またはパスを 1 行に 1 つずつ入力すると、許可／ブロックの判定と、適用されたルールの行番号が表示されます。

  4. 「診断結果」で記述ミスや Google が無視する命令を確認し、「〇行目へ」で該当行に移動して修正します。

  5. 下の一覧で、主要な検索エンジンと AI クローラーがトップページを取得できるかを確認します。

できること

RFC 9309 準拠の判定

最も長く一致したルールが優先され、同じ長さなら Allow が優先されます。User-agent は大文字小文字を区別せずに照合し、同じクローラー向けの複数グループは合算します。* と $ のワイルドカード、日本語パスのパーセントエンコードにも対応します。

効いたルールの行番号が分かる

判定ごとに、適用された Allow / Disallow とその行番号、使われた User-agent グループを表示します。クリックすると該当行を選択します。

よくある記述ミスを診断

User-agent より前のルール、つづりの誤り（Dissallow など）、「:」の抜け、相対パスの Sitemap、Google が無視する Noindex・Crawl-delay、500 KiB を超えるサイズ、HTML が返っている状態などを指摘します。

AI クローラーの可否を一覧表示

Google-Extended・GPTBot・OAI-SearchBot・ClaudeBot・PerplexityBot・CCBot など、AI 学習や AI 検索のクローラーがトップページを取得できるかを検索エンジンと並べて表示します。

こんなときに

  • 公開前に、管理画面や検索結果ページが正しくブロックされているか確かめたい
  • 「インデックスされない」原因が robots.txt にないか調べたい
  • GPTBot や ClaudeBot など AI クローラーへの許可・拒否の設定を確認したい
  • ワイルドカード（*）や $ を使ったルールが意図どおりに一致するか試したい
  • robots.txt を書き換える前に、変更の影響を確認したい

対応形式

入力

robots.txt（貼り付け・.txt ファイル）

対応状況

機能対応補足
URL ごとの許可／ブロック判定（RFC 9309）対応—
適用されたルールと行番号の表示対応—
記述ミス・非対応命令の診断対応—
検索エンジン・AI クローラーの可否一覧対応—
クローラーごとの独自拡張（Yandex の Clean-param など）の判定一部対応存在は指摘しますが、判定には使いません
URL を入力して robots.txt を自動取得非対応内容を貼り付けてください
ページ側の noindex（meta robots）の確認非対応—

制限・注意事項

  • robots.txt の取得は行いません。ブラウザで https://ドメイン/robots.txt を開き、内容をコピーして貼り付けてください。
  • 一度にテストできる URL は 2,000 件、読み込めるファイルは 2 MB までです。
  • User-agent の照合は Google の方式（例: Googlebot-Image は専用グループがなければ Googlebot のグループに従う）に合わせています。クローラーによって細部が異なる場合があります。
  • robots.txt はクロールの制御であり、インデックスの禁止ではありません。検索結果から除外するにはページ側の noindex が必要です。

プライバシーと安全性

robots.txt の内容とテストする URL は、お使いのブラウザの中だけで処理されます。サーバーへ送信・保存されることはありません。

よくある質問

Disallow と Allow が両方一致したらどうなりますか？
より長く（具体的に）一致したルールが優先されます。同じ長さの場合は Allow が優先されます（RFC 9309）。このツールでは、実際に適用されたルールと行番号を表示します。
robots.txt でブロックすればインデックスされませんか？
いいえ。robots.txt はクロールを止めるだけで、リンクされていれば URL だけがインデックスされることがあります。検索結果から除外したいページはブロックせず、ページに noindex を付けてください。
ChatGPT や Claude の AI クローラーを拒否するには？
「User-agent: GPTBot」「User-agent: ClaudeBot」などのグループに「Disallow: /」を書きます。Google の AI 学習を拒否する場合は「Google-Extended」です。このツールの一覧で、設定が効いているか確認できます。
Crawl-delay は効きますか？
Google は Crawl-delay を無視します。Bing など一部のクローラーのみ対応しています。
入力した内容は送信されますか？
いいえ。判定はすべてブラウザ内で行われ、robots.txt や URL がサーバーへ送られることはありません。

関連ツール

サイトマップ作成・診断

URL の一覧を貼り付けるだけで、正しく書かれた sitemap.xml を作成します。既存のサイトマップを貼り付ければ、Google に読み込まれない原因になるエラーを行番号付きで指摘します。

Structured Data / JSON-LD Studio（構造化データ作成・検証）

主要 13 タイプの JSON-LD を、必須・推奨を区別したフォームから作成してコピーできます。JSON-LD や HTML を貼り付けると、複数の script・@graph・配列を取り出して、JSON の構文エラーの位置から Google のリッチリザルト要件の不足までを一覧にします。Google の公式ツールではありません。

HTML 構造・見出し・画像・リンク診断

ページの HTML を貼り付けるだけで、SEO とアクセシビリティの基本項目（見出し構成・メタタグ・OGP・画像の alt・リンク・構造化データ）を一覧で確認できます。検索結果と SNS でのおおよその見え方もプレビューします。

最終更新: