無料AIクローラーチェッカー
どのAIボットがサイトを読めて、どのボットをrobots.txtが締め出しているかを確認できます。
登録不要。チェックしたドメインを保存・記録することはありません。
ドメインをチェック中...
これはひとつのシグナルにすぎません。
ウェブサイト健康診断なら全体像がわかります。Google Lighthouseの速度スコアに加えて、DNS、SSL、メール認証、AIアクセスをひとつのレポートで確認できます。
ウェブサイト健康診断を実行仕組み
ドメインを入力すると、robots.txtを取得し、各AIクローラーが読むのと同じ方法で解釈します。固有のuser-agentルールを持つボットはそのルールに従い、持たないボットはワイルドカードの対象になります。OAI-SearchBot、Claude-SearchBot、PerplexityBot、GPTBot、ClaudeBot、Google-Extended、Bytespiderのボットごとに判定が出て、リアルタイムの回答で出典を引用する検索クローラーと、学習用クローラーが分けて表示されます。
こんなときに
robots.txtを変更した後、サイトの移行やリニューアルの後、あるいはAIアシスタントがあなたのビジネスについて急に語らなくなったと感じたときに実行してください。検索クローラーをブロックすると、こちら側には何のエラーも出ないままAIの回答から消えます。可視性が大事な場面では、確認する価値があります。
よくある質問
どのAIクローラーをチェックしますか?
2グループ7種のボットです。リアルタイムの質問に答えて出典を引用する検索クローラーは、OAI-SearchBot(ChatGPT検索)、Claude-SearchBot、PerplexityBot。将来のモデルのためにページを収集する学習クローラーは、GPTBot、ClaudeBot、Google-Extended、Bytespiderです。
AIクローラーは許可すべきですか?
多くのビジネスにとって、検索クローラーの許可は明確なプラスです。ChatGPT、Claude、Perplexityがあなたを情報源として引用する経路だからです。学習クローラーは本当に選択の問題で、許可すれば将来のモデルがあなたのビジネスを知る助けになり、ブロックするのもコンテンツ利用に対する正当な立場です。このツールは、現在の設定が実際に何を言っているかを見せてくれます。
robots.txtでブロックすれば本当に止まりますか?
このツールがチェックする主要クローラーはrobots.txtを尊重します。ユーザーがリンクを貼ったときにページを取得するChatGPT-Userのようなユーザー代理アクセスは確実には尊重しないため、それらについては判定を出していません。
まとめて全部チェック
速度、DNS、SSL、メール認証、AIアクセスをひとつのレポートで。訪問者、検索エンジン、AIアシスタントがあなたのサイトを信頼するかどうかを左右するシグナルです。
ウェブサイト健康診断を実行