Verifica crawler IA gratuita
Scopri quali bot IA possono leggere il tuo sito — e quali il tuo robots.txt respinge.
Nessuna registrazione. Non salviamo né registriamo i domini che controlli.
Controllo del dominio...
Questo è un segnale. Il tuo sito ne ha altri.
Il Check-up del sito copre il quadro completo: punteggi di velocità Google Lighthouse più DNS, SSL, autenticazione email e accesso delle IA, in un unico report.
Esegui il Check-up del sitoScout può gestire il tuo intero sito web con Surmado Sites, oppure elencare prima ogni correzione in un Site Audit.
Come funziona
Inserisci un dominio: scarichiamo il suo robots.txt e lo leggiamo come fa ciascun crawler IA — un bot con la propria regola user-agent segue quella regola, uno senza regola propria ricade sotto la regola jolly. Ottieni un verdetto per bot — OAI-SearchBot, Claude-SearchBot, PerplexityBot, GPTBot, ClaudeBot, Google-Extended e Bytespider — con i crawler di ricerca, quelli che citano fonti nelle risposte in tempo reale, separati da quelli di addestramento.
Quando usarla
Eseguilo dopo ogni modifica al robots.txt, dopo una migrazione o un restyling, o quando gli assistenti IA sembrano essersi zittiti sulla tua attività. Bloccare un crawler di ricerca ti rimuove dalle risposte delle IA senza alcun messaggio di errore dalla tua parte: vale un controllo ogni volta che la visibilità conta.
Domande frequenti
Quali crawler IA controlla questo strumento?
Sette bot in due gruppi. Crawler di ricerca, che leggono pagine per rispondere a domande in tempo reale e citare fonti: OAI-SearchBot (ricerca ChatGPT), Claude-SearchBot e PerplexityBot. Crawler di addestramento, che raccolgono pagine per i modelli futuri: GPTBot, ClaudeBot, Google-Extended e Bytespider.
Dovrei permettere i crawler IA sul mio sito?
Per la maggior parte delle attività, permettere i crawler di ricerca è il guadagno evidente: sono la via con cui ChatGPT, Claude e Perplexity ti citano come fonte. Quelli di addestramento sono una scelta genuina: permetterli aiuta i modelli futuri a conoscere la tua attività; bloccarli è una posizione legittima sull'uso dei contenuti. Questo strumento mostra cosa dicono davvero le tue impostazioni attuali.
Bloccare un crawler nel robots.txt lo ferma davvero?
I grandi crawler che questo strumento controlla rispettano il robots.txt. Gli agenti su richiesta dell'utente — come ChatGPT-User, che legge una pagina quando un utente incolla un link — non lo rispettano in modo affidabile, ed è per questo che non emettiamo un verdetto per loro.
Come sblocco la ricerca di ChatGPT?
Apri tuodominio.com/robots.txt e cerca un Disallow: / che raggiunge OAI-SearchBot, il crawler della ricerca di ChatGPT, sotto User-agent: OAI-SearchBot o User-agent: *. Cancellalo, oppure dai al bot un gruppo tutto suo, User-agent: OAI-SearchBot seguito da Allow: /, che prevale sulla regola *. GPTBot raccoglie pagine solo per l'addestramento, quindi non decide se compari nella ricerca di ChatGPT. Secondo OpenAI, una modifica può richiedere circa un giorno per essere recepita. Poi ripeti questo controllo e leggi il resto del file con la verifica robots.txt. Anche un firewall o un'impostazione anti-bot della tua CDN può bloccare ChatGPT, e il robots.txt non lo mostra.
Controlla tutto in una volta
Un report che copre velocità, DNS, SSL, autenticazione email e accesso delle IA: i segnali che decidono se visitatori, motori di ricerca e assistenti IA si fidano del tuo sito.
Esegui il Check-up del sito