MyClawn AI Search Audit › AI-crawlers

GPTBot en de andere AI-crawlers: wat je toestaat in robots.txt

Het verkeerde bot blokkeren kan je uit ChatGPT- of Perplexity-antwoorden halen terwijl training onaangetast blijft, of andersom. Hier is wat elke crawler volgens de exploitant doet, en een robots.txt die je zichtbaar houdt.

Trainingsbots vs zoekbots vs gebruikersfetchers

Crawler	Door de exploitant opgegeven doel	Respecteert robots.txt	Als je hem blokkeert
GPTBot	Verzamelt content die kan worden gebruikt om modellen van OpenAI te trainen (OpenAI)	Ja	Meldt je af voor training; haalt je op zichzelf niet uit ChatGPT-zoekopdrachten
OAI-SearchBot	Toont websites in ChatGPT-zoekfuncties (OpenAI)	Ja	"Wordt niet getoond in ChatGPT-zoekantwoorden", hoewel navigatielinks nog wel kunnen verschijnen
ChatGPT-User	Bezoekt pagina's wanneer een gebruiker ChatGPT of een aangepaste GPT iets vraagt (OpenAI)	Regels "gelden mogelijk niet"	Wordt niet gebruikt om opname in zoekresultaten te bepalen
PerplexityBot	Toont en linkt sites in Perplexity-resultaten; niet gebruikt voor training (Perplexity)	Ja	Uit de zoekresultaten van Perplexity
Perplexity-User	Haalt een pagina op wanneer een gebruiker een vraag stelt (Perplexity)	Negeert het over het algemeen	Weinig effect
Google-Extended	robots.txt-token voor training en grounding van Gemini (Google)	Ja (alleen token, geen aparte bot)	Heeft geen invloed op opname in of ranking van Google Zoeken
Googlebot, Bingbot	Zoekindexering	Ja	Uit zoekresultaten, en uit de AI-antwoorden die erop zijn gebouwd

Een robots.txt die zichtbaar blijft maar niet meedoet aan training

Als je wilt verschijnen in AI-zoekantwoorden maar niet wilt dat je pagina's worden gebruikt voor modeltraining, is dit het gangbare patroon:

User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml

Wijzig het domein, behoud bestaande regels voor je admin- of winkelwagenpaden, en onthoud dat een User-agent: *-blok een benoemd blok niet overschrijft: een bot volgt de meest specifieke groep die hem noemt. Als je het prima vindt om voor training te worden gebruikt, laat GPTBot en Google-Extended dan toegestaan.

OpenAI meldt dat zoekwijzigingen ongeveer 24 uur nodig kunnen hebben om in te gaan nadat je robots.txt hebt bijgewerkt.

Plak je website. Starter $39/mnd · Pro $129/mnd. Terugbetaling binnen 14 dagen als het niet lukt.

Audit mijn site

De fout die we het vaakst zien: de firewall zegt nee

robots.txt is een verzoek; je CDN of firewall is wat echt antwoordt. "AI-bots blokkeren"-schakelaars in CDN- en beveiligingsplugins, botgevechtmodi en snelheidslimieten kunnen 403 of 429 teruggeven aan zoekcrawlers die robots.txt toestaat. Van buitenaf lijkt de site open; voor OAI-SearchBot is hij dicht.

Daarom gaat onze audit niet alleen robots.txt lezen. Hij haalt je homepage op met de user agent van elke crawler en noteert de HTTP-status in een tabel, zodat een blokkade als getal zichtbaar wordt, niet als gok. (Een firewall die IP-bereiken controleert kan onze verzoeken nog steeds anders behandelen dan de echte bot; het rapport vermeldt wanneer een resultaat moet worden bevestigd in je CDN-logs.)

Beslissingen per type bedrijf

Jij bent	Meestal
Een lokaal dienstverlenend bedrijf	Laat zoekcrawlers toe (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Trainingsbots: aan jou; de meeste lokale bedrijven hebben er niets aan om ze te blokkeren.
B2B of SaaS	Laat zoekcrawlers toe. Blokkeer trainingsbots alleen voor afgeschermde of eigen contentpaden.
Een uitgever met betaalde content	Een echte afweging; beslis per sectie. Niet onze kerndoelgroep.

Wat de audit je oplevert

fixes/robots-check.txt met de exacte regels die je moet aanpassen, of "no change needed", plus de crawlertabel in het rapport: elke bot, de bijbehorende robots.txt-regel en de HTTP-status die we kregen. Lees meer over hoe het werkt.

Waarom we dit hebben gebouwd: we draaien onze eigen softwareproducten en meten in onze eigen analytics waar aanmeldingen vandaan komen. In 34 dagen leverden bezoekers vanuit ChatGPT 46 aanmeldingen op één product, 27 op een tweede en 15 op een derde; Gemini stuurde er 11. ChatGPT-bezoekers zetten ongeveer 31% van hun bezoek om in een aanmelding (interne analytics, november 2026). Dat is een klein kanaal naast Google, maar het converteert, en we wilden dezelfde controles voor elke site die we beheren. Deze audit bestaat uit die controles, uitgewerkt voor jouw site.

Veelgestelde vragen

Word ik uit ChatGPT verwijderd als ik GPTBot blokkeer?

Niet uit ChatGPT-zoeken, volgens de documentatie van OpenAI: opname in zoekresultaten wordt bepaald door OAI-SearchBot.

Schaadt het blokkeren van Google-Extended mijn posities in Google?

Google zegt dat het geen invloed heeft op opname in of rangschikking in Google Zoeken.

Kan ik controleren of een verzoek echt van GPTBot komt?

OpenAI publiceert IP-bereiken voor zijn crawlers; controleer ze in je server- of CDN-logs.

Plak je website. Starter $39/mnd · Pro $129/mnd. Terugbetaling binnen 14 dagen als het niet lukt.

Audit mijn site

Meer over AI Search Audit

Een opdracht starten Prijzen Zo werkt het Wat is GEO AEO vs SEO Alternatieven FAQ llms.txt

Bronnen (gecontroleerd op 2026-11-09): developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr