無料robots.txtチェッカー

あなたのドメイン.com/robots.txtに置かれるプレーンテキストのファイルで、クローラーがサイトのどこを見てよいかを伝えます。鍵ではなく取り決めですが、正規のクローラーはこれを尊重します。このツールがチェックするクローラーもそうです。

間違ったルールひとつでGoogleから完全に消えることがあります。典型例は、ステージングから置き忘れたDisallow: /です。このツールが指摘するのはまさにそれで、ワイルドカードのブロック、ブロックされた検索エンジン、ブロックされたAIクローラーです。

このページはファイル全体を読みます。検索エンジン、ワイルドカードルール、AIの総合判定です。AIクローラーチェッカーは、ひとつの問いをより深く答えます。どのAIボットがサイトを読めるのかを、ボットごとに判定します。