MyClawn AI Search Audit › Crawler AI
GPTBot e gli altri crawler AI: cosa consentire in robots.txt
Bloccare il bot sbagliato può farti uscire dalle risposte di ChatGPT o Perplexity lasciando intatto l'addestramento, o viceversa. Ecco cosa fa ogni crawler secondo il suo gestore, e un robots.txt che ti mantiene visibile.
Bot di addestramento, bot di ricerca e fetcher utente
| Crawler | Scopo dichiarato dal gestore | Rispetta robots.txt | Se lo blocchi |
|---|---|---|---|
| GPTBot | Raccoglie contenuti che possono servire ad addestrare i modelli di OpenAI (OpenAI) | Sì | Ti esclude dall'addestramento; non ti rimuove da solo dalla ricerca di ChatGPT |
| OAI-SearchBot | Mostra i siti nelle funzioni di ricerca di ChatGPT (OpenAI) | Sì | "Non verrà mostrato nelle risposte della ricerca di ChatGPT", anche se i link di navigazione possono comparire comunque |
| ChatGPT-User | Visita le pagine quando un utente chiede qualcosa a ChatGPT o a un GPT personalizzato (OpenAI) | Le regole "potrebbero non applicarsi" | Non usato per decidere l'inclusione nella ricerca |
| PerplexityBot | Mostra e collega i siti nei risultati di Perplexity; non usato per l'addestramento (Perplexity) | Sì | Fuori dai risultati di ricerca di Perplexity |
| Perplexity-User | Recupera una pagina quando un utente pone una domanda (Perplexity) | In genere lo ignora | Effetto minimo |
| Google-Extended | Token robots.txt per l'addestramento e il grounding di Gemini (Google) | Sì (solo token, nessun bot separato) | Non influisce sull'inclusione o sul ranking nella Ricerca Google |
| Googlebot, Bingbot | Indicizzazione per la ricerca | Sì | Fuori dalla ricerca, e dalle risposte AI costruite su di essa |
Un robots.txt che resta visibile ma esclude l'addestramento
Se vuoi comparire nelle risposte della ricerca AI senza che le tue pagine vengano usate per addestrare i modelli, questo è lo schema comune:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Cambia il dominio, mantieni le regole esistenti per i percorsi di amministrazione o carrello, e ricorda che un blocco User-agent: * non sostituisce un blocco con nome: un bot segue il gruppo più specifico che lo nomina. Se sei felice di essere usato per l'addestramento, lascia consentiti GPTBot e Google-Extended.
OpenAI osserva che le modifiche alla ricerca possono richiedere circa 24 ore per avere effetto dopo che aggiorni robots.txt.
Incolla l'indirizzo del tuo sito. Starter $39/mese · Pro $129/mese. Rimborso entro 14 giorni se non va a buon fine.
Analizza il mio sitoL'errore che vediamo più spesso: il firewall dice no
robots.txt è una richiesta; a rispondere davvero è il tuo CDN o firewall. Le opzioni "Blocca bot AI" nei CDN e nei plugin di sicurezza, le modalità anti-bot e i limiti di frequenza possono restituire 403 o 429 ai crawler di ricerca che robots.txt consente. Dall'esterno il sito sembra aperto; per OAI-SearchBot è chiuso.
Per questo il nostro audit non si ferma alla lettura di robots.txt. Richiede la tua home page con lo user agent di ogni crawler e registra lo stato HTTP in una tabella, così un blocco appare come un numero, non come un'ipotesi. (Un firewall che controlla gli intervalli IP può comunque trattare le nostre richieste in modo diverso dal bot reale; il report indica quando un risultato va confermato nei log del tuo CDN.)
Decisioni per tipo di attività
| Sei | Di solito |
|---|---|
| Un'attività di servizi locale | Consenti i crawler di ricerca (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Bot di addestramento: decidi tu; la maggior parte delle attività locali non ci guadagna nulla a bloccarli. |
| B2B o SaaS | Consenti i crawler di ricerca. Blocca i bot di addestramento solo per i percorsi di contenuto riservato o proprietario. |
| Un editore con contenuti a pagamento | Un vero compromesso; decidi sezione per sezione. Non è il nostro pubblico principale. |
Cosa ti offre l'audit
fixes/robots-check.txt con le righe esatte da modificare, oppure "nessuna modifica necessaria", più la tabella dei crawler nel report: ogni bot, la sua regola in robots.txt e lo stato HTTP che abbiamo ottenuto. Scopri di più su come funziona.
Perché l'abbiamo creato: gestiamo i nostri prodotti software e misuriamo, nelle nostre analisi interne, da dove arrivano le registrazioni. In 34 giorni, i visitatori arrivati da ChatGPT hanno prodotto 46 registrazioni su un prodotto, 27 su un secondo e 15 su un terzo; Gemini ne ha portate 11. I visitatori di ChatGPT sono passati dalla visita alla registrazione con una conversione di circa il 31% (analisi interne, novembre 2026). È un canale piccolo rispetto a Google, ma converte, e volevamo gli stessi controlli per ogni sito che gestiamo. Questo audit raccoglie quei controlli, scritti per il tuo sito.
Domande
Bloccare GPTBot ti rimuove da ChatGPT?
Non dalla ricerca di ChatGPT, secondo la documentazione di OpenAI: l'inclusione nella ricerca è controllata da OAI-SearchBot.
Bloccare Google-Extended danneggia il mio posizionamento su Google?
Google afferma di no: non influisce sull'inclusione né sul posizionamento nella Ricerca Google.
Posso verificare che una richiesta provenga davvero da GPTBot?
OpenAI pubblica gli intervalli IP dei suoi crawler; controllali nei log del tuo server o della tua CDN.
Incolla l'indirizzo del tuo sito. Starter $39/mese · Pro $129/mese. Rimborso entro 14 giorni se non va a buon fine.
Analizza il mio sitoScopri di più su AI Search Audit
Fonti (verificate il 2026-11-09): developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr