MyClawn AI Search Audit › KI-Crawler

GPTBot und die anderen KI-Crawler: Was Sie in der robots.txt erlauben sollten

Wer den falschen Bot blockiert, kann Sie aus ChatGPT- oder Perplexity-Antworten entfernen, während das Training unberührt bleibt, oder umgekehrt. Hier sehen Sie, was jeder Crawler laut seinem Betreiber tut, und eine robots.txt, die Sie sichtbar hält.

Trainings-Bots vs. Such-Bots vs. Nutzer-Abrufer

Crawler	Vom Betreiber angegebener Zweck	Respektiert robots.txt	Wenn Sie ihn blockieren
GPTBot	Sammelt Inhalte, die zum Training der Modelle von OpenAI verwendet werden können (OpenAI)	Ja	Schließt sich vom Training aus; entfernt Sie allein nicht aus der ChatGPT-Suche
OAI-SearchBot	Macht Websites in den Suchfunktionen von ChatGPT sichtbar (OpenAI)	Ja	„Wird nicht in ChatGPT-Suchantworten angezeigt“, wobei Navigationslinks dennoch erscheinen können
ChatGPT-User	Ruft Seiten auf, wenn ein Nutzer ChatGPT oder einem individuellen GPT eine Frage stellt (OpenAI)	Regeln „könnten nicht gelten“	Wird nicht zur Entscheidung über die Aufnahme in die Suche genutzt
PerplexityBot	Macht Websites in Perplexity-Ergebnissen sichtbar und verlinkt sie; wird nicht zum Training verwendet (Perplexity)	Ja	Aus den Suchergebnissen von Perplexity entfernt
Perplexity-User	Ruft eine Seite ab, wenn ein Nutzer eine Frage stellt (Perplexity)	Ignoriert sie in der Regel	Kaum Wirkung
Google-Extended	robots.txt-Token für Gemini-Training und Grounding (Google)	Ja (nur Token, kein eigener Bot)	Wirkt sich nicht auf die Aufnahme oder das Ranking in der Google-Suche aus
Googlebot, Bingbot	Indexierung für Suchmaschinen	Ja	Aus der Suche entfernt und aus den KI-Antworten, die darauf aufbauen

Eine robots.txt, die sichtbar bleibt, aber das Training ausschließt

Wenn Sie in KI-Suchantworten erscheinen, aber Ihre Seiten nicht für das Modelltraining nutzen lassen möchten, ist dies das übliche Muster:

User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml

Ersetzen Sie die Domain, behalten Sie vorhandene Regeln für Admin- oder Warenkorbpfade bei, und denken Sie daran: Ein Block User-agent: * überschreibt keinen benannten Block. Ein Bot folgt der spezifischsten Gruppe, die ihn nennt. Wenn Sie mit einer Nutzung für das Training einverstanden sind, lassen Sie GPTBot und Google-Extended erlaubt.

OpenAI weist darauf hin, dass Suchänderungen nach einer robots.txt-Aktualisierung etwa 24 Stunden brauchen können, bis sie wirksam werden.

Geben Sie Ihre Website ein. Starter $39/Mon. · Pro $129/Mon.. Rückerstattung innerhalb von 14 Tagen, falls es nicht passt.

Meine Website prüfen

Der Fehler, den wir am häufigsten sehen: Die Firewall sagt nein

robots.txt ist eine Anfrage; Ihr CDN oder Ihre Firewall ist das, was tatsächlich antwortet. „KI-Bots blockieren“-Schalter in CDN- und Sicherheits-Plugins, Bot-Abwehrmodi und Ratenbegrenzungen können Suchcrawler, die robots.txt erlaubt, mit 403 oder 429 abweisen. Von außen wirkt die Website offen; für OAI-SearchBot ist sie geschlossen.

Deshalb beschränkt sich unser Audit nicht auf das Lesen der robots.txt. Es ruft Ihre Startseite mit dem User-Agent jedes Crawlers ab und trägt den HTTP-Status in eine Tabelle ein, sodass eine Blockade als Zahl erscheint und nicht als Vermutung. (Eine Firewall, die IP-Bereiche prüft, kann unsere Anfragen trotzdem anders behandeln als den echten Bot. Der Bericht sagt, wann ein Ergebnis in Ihren CDN-Logs bestätigt werden muss.)

Entscheidungen nach Geschäftstyp

Sie sind	In der Regel
Ein lokales Dienstleistungsunternehmen	Suchcrawler zulassen (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Trainings-Bots: Ihre Entscheidung; die meisten lokalen Unternehmen haben keinen Vorteil davon, sie zu blockieren.
B2B oder SaaS	Suchcrawler zulassen. Trainings-Bots nur für geschützte oder proprietäre Inhaltsbereiche blockieren.
Ein Verlag mit kostenpflichtigen Inhalten	Ein echter Zielkonflikt; entscheiden Sie pro Bereich. Nicht unsere Kernzielgruppe.

Was Ihnen das Audit bringt

fixes/robots-check.txt mit den genauen Zeilen, die Sie ändern müssen, oder „no change needed“ (keine Änderung nötig), sowie die Crawler-Tabelle im Bericht: jeder Bot, seine robots.txt-Regel und der HTTP-Status, den wir erhalten haben. Mehr dazu unter how it works.

Warum wir das entwickelt haben: Wir betreiben eigene Softwareprodukte und messen in unserer eigenen Analyse, woher Anmeldungen kommen. Über 34 Tage erzeugten Besucher von ChatGPT 46 Anmeldungen bei einem Produkt, 27 bei einem zweiten und 15 bei einem dritten; Gemini lieferte 11. ChatGPT-Besucher wandelten sich vom Besuch zur Anmeldung zu etwa 31 % (interne Analyse, November 2026). Das ist ein kleiner Kanal neben Google, aber er konvertiert, und wir wollten dieselben Prüfungen für jede Website, die wir betreiben. Dieses Audit sind diese Prüfungen, aufbereitet für Ihre Website.

Fragen

Entfernt das Blockieren von GPTBot mich aus ChatGPT?

Laut den Dokumentationen von OpenAI nicht aus der ChatGPT-Suche: Die Aufnahme in die Suche wird über OAI-SearchBot gesteuert.

Schadet das Blockieren von Google-Extended meinen Google-Rankings?

Google sagt, es hat keinen Einfluss auf die Aufnahme oder das Ranking in der Google-Suche.

Kann ich prüfen, ob eine Anfrage wirklich von GPTBot stammt?

OpenAI veröffentlicht IP-Bereiche für seine Crawler; prüfen Sie diese in Ihren Server- oder CDN-Protokollen.

Geben Sie Ihre Website ein. Starter $39/Mon. · Pro $129/Mon.. Rückerstattung innerhalb von 14 Tagen, falls es nicht passt.

Meine Website prüfen

Mehr über AI Search Audit

Auftrag starten Preise So funktioniert es Was ist GEO AEO vs. SEO Alternativen FAQ llms.txt

Quellen (geprüft am 2026-11-09): developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr