Es sind drei verschiedene Sorten Programme, nicht eine
„Die KI" ist keine einzelne Sache, die deine Seite besucht. Jeder Anbieter schickt mehrere Programme los, und die haben verschiedene Aufgaben. Wer das nicht trennt, trifft die falsche Entscheidung — meistens genau die, die weh tut.
- Training. Sammelt Texte, aus denen künftige Modelle lernen. Das ist der Teil, bei dem es ums Urheberrecht geht.
- Suche. Baut den Index, aus dem die Antwortmaschine ihre Quellen zieht und verlinkt. Das ist der Teil, bei dem es um dich als Treffer geht.
- Abruf durch einen Nutzer. Jemand stellt gerade eine Frage, und das Programm holt in diesem Moment deine Seite. Kein Index, kein Training — ein einzelner Besuch, ausgelöst von einem Menschen.
Hier sind die Programme, die die vier großen Anbieter selbst dokumentieren — Stand 9. September 2026, nachgelesen in ihren eigenen Unterlagen:[1][2][3][4]
| Programm | Anbieter | Aufgabe | Hält sich an robots.txt? |
|---|---|---|---|
OAI-SearchBot | OpenAI | Suche in ChatGPT | Ja |
GPTBot | OpenAI | Training | Ja |
ChatGPT-User | OpenAI | Abruf durch einen Nutzer | Eingeschränkt |
Claude-SearchBot | Anthropic | Suche | Ja |
ClaudeBot | Anthropic | Training | Ja |
Claude-User | Anthropic | Abruf durch einen Nutzer | Eingeschränkt |
PerplexityBot | Perplexity | Suche | Ja |
Perplexity-User | Perplexity | Abruf durch einen Nutzer | Nein |
Googlebot | Suche, einschließlich KI-Übersichten | Ja | |
Google-Extended | Training und Antwortgrundlage für Gemini | Ja |
Der teure Denkfehler: „KI aussperren" sperrt die Antwort mit aus
Die häufigste robots.txt, die uns bei Bestandsaufnahmen begegnet, ist von irgendwoher kopiert und sperrt alles, was nach KI klingt — GPTBot und OAI-SearchBot in einem Aufwasch. Das Ergebnis: Der Betrieb wird nicht fürs Training genutzt (was er wollte) und taucht in ChatGPT-Antworten nicht mehr auf (was er nicht wollte und meist nicht weiß).
OpenAI schreibt das selbst in die eigene Dokumentation, und zwar so deutlich, dass man es nicht missverstehen kann:
„Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models."[1]
Anthropic und Perplexity trennen genauso. Perplexity schreibt über seinen Suchbot ausdrücklich: „It is not used to crawl content for AI foundation models."[3] Wer alles sperrt, sperrt also nicht „die KI" aus, sondern verzichtet auf die Verlinkung und behält den Rest, den er sowieso nicht kontrolliert.
Was passiert, wenn du nichts tust: In den allermeisten Fällen — nichts Schlimmes. Ohne Regeln in der robots.txt ist alles erlaubt, du bist auffindbar, und dein Text darf fürs Training verwendet werden. Das ist eine legitime Entscheidung. Sie sollte nur eine sein und kein Versehen.
Was passiert, wenn du blind alles sperrst: Du verschwindest aus den Antworten, in denen dein Wettbewerb steht — ohne dass es dir jemand meldet. Es gibt für KI-Antworten keine Search Console.
Was robots.txt kann — und was sie ausdrücklich nicht kann
Eine robots.txt ist kein Schloss. Sie ist ein Schild. Wer sich daran hält, tut das freiwillig, und die Anbieter sagen offen, wo sie sich nicht daran halten. Für den Fall „ein Mensch hat gerade gefragt" schreibt OpenAI:
„Because these actions are initiated by a user, robots.txt rules may not apply."[1]
Perplexity wird noch deutlicher: „Since a user requested the fetch, this fetcher generally ignores robots.txt rules."[3] Die Logik dahinter ist dieselbe wie beim Browser: Wenn ein Mensch eine Adresse aufruft, ist das kein Crawling. Praktisch heißt das: Was du nicht öffentlich stehen haben willst, gehört nicht ins öffentliche Netz. Nicht hinter eine robots.txt, sondern hinter ein Passwort.
Google ist ein Sonderfall — und zwar in beide Richtungen
Bei Google hängen Suche und KI enger zusammen als bei allen anderen. Zwei Sätze aus Googles eigener Dokumentation räumen dabei zwei verbreitete Irrtümer ab.
Erstens: Wer Google-Extended sperrt, verliert dadurch keine Sichtbarkeit in der Suche. Google schreibt: „Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search."[4] Gesperrt wird damit das Training und die Antwortgrundlage für Gemini — nicht dein Platz im Suchergebnis.
Zweitens: Die KI-Übersichten in der Suche hängen nicht an Google-Extended, sondern an den normalen Snippet-Regeln. Google verweist dafür auf nosnippet, data-nosnippet, max-snippet und noindex.[5] Wer aus den KI-Übersichten heraus will, muss also am Textausschnitt drehen — und verliert damit auch den Vorschautext im normalen Treffer. Das ist ein echter Zielkonflikt, keine Einstellung.
Und der dritte Satz, der die halbe Beratungsbranche entwertet: „You don't need to create new machine readable files, AI text files, or markup to appear in these features."[5] Es gibt bei Google keine Extra-Datei, die dich in die KI-Antwort hebt. Mehr dazu im Beitrag über llms.txt.
Prüf deine eigene robots.txt — hier, sofort
Ruf https://deinedomain.de/robots.txt im Browser auf, kopier den Inhalt und wirf ihn hier rein. Nichts davon verlässt deinen Browser — der Prüfer rechnet auf deinem Gerät.
robots.txt-Prüfer · Stand 09.09.2026
Welche Antwortmaschine darf deine Seite lesen?
Die Datei liegt immer unter /robots.txt deiner Domain. Gibt es dort nichts, ist alles erlaubt — such dann in der Liste unten nach der Zeile „keine Datei".
Noch nichts eingefügt.
| Programm | Aufgabe | Ergebnis |
|---|
Wie der Prüfer rechnet — und wo er bewusst vereinfacht
Der Prüfer liest die Datei so, wie es das Robots-Exclusion-Protokoll vorsieht: Er sucht die Gruppe, deren User-agent auf den Namen des Programms passt, und nimmt nur diese. Gibt es keine passende, gilt die Gruppe *. Gibt es auch die nicht, ist alles erlaubt.
Geprüft wird eine einzige Frage: Darf die Startseite / geholt werden? Disallow: / heißt nein, Allow: / und ein leeres Disallow: heißen ja. Einzelne gesperrte Verzeichnisse zählt der Prüfer nicht mit — wer /intern/ sperrt, sieht hier trotzdem „erlaubt", und das ist richtig so.
Die Spalte „Ergebnis" beschreibt die Folge, nicht die Absicht. Bei ChatGPT-User, Claude-User und Perplexity-User steht deshalb ein Hinweis statt eines Urteils: Diese Abrufe löst ein Mensch aus, und die Anbieter sagen selbst, dass ihre Sperrregeln dort nicht oder nur eingeschränkt greifen.
Und jetzt der unbequeme Teil: die Datei ist nicht dein Problem
Die robots.txt ist in zehn Minuten richtig. Danach fängt die eigentliche Arbeit an, und die ist unspektakulär. Eine Antwortmaschine kann dich nur nennen, wenn über dich etwas Zitierbares im Netz steht. Zitierbar heißt: Text, auf einer Adresse, die man verlinken kann.
Wir machen für Angebote regelmäßig Bestandsaufnahmen fremder Websites, und das häufigste Muster ist nicht schlechter Text. Es ist Text, den es als Text nicht gibt:
- Die Speisekarte liegt als PDF — 2,2 MB, zehn Seiten. Kein einziges Gericht steht auf der Website.
- Die Preisliste ist ein Bild, am Handy 171 Pixel breit. Neunzehn Preiszeilen auf anderthalb Zentimetern.
- Die Öffnungszeiten stehen nur in der Instagram-Biografie — als Satz, nicht als Angabe.
- Der Leistungskatalog ist ein Menüpunkt ohne Seite: sechzehn Angebote, alle auf derselben Adresse, alle mit demselben Seitentitel.
In allen vier Fällen ist die Frage „wie komme ich in ChatGPT?" falsch gestellt. Die Antwort lautet nicht „mit einer Extra-Datei", sondern: Schreib es hin. Als Text, auf einer eigenen Seite, mit einer eigenen Überschrift. Das hilft dann übrigens auch Google, dem Kunden mit dem Handy und dem Mitarbeiter am Telefon — es ist die einzige Maßnahme in diesem Feld, die selbst dann noch wirkt, wenn die Antwortmaschinen in zwei Jahren anders heißen.
Die vier Dinge, die messbar etwas ändern
- Eine Seite je Leistung, mit eigenem Titel und eigener Beschreibung. Wer sechzehn Leistungen auf einer Seite hat, hat für eine Maschine eine Leistung. Und wenn alle Seiten denselben Titel tragen, hat er gar keine.
- Fakten als Text ins HTML. Öffnungszeiten, Anschrift, Telefonnummer, Preise, Leistungen. Nicht als Bild, nicht als PDF, nicht per JavaScript nachgeladen — dazu steht mehr im Beitrag Was KI-Crawler von deiner Seite wirklich sehen.
- Dieselben Stammdaten überall. Website, Google-Eintrag, Branchenverzeichnisse, Social-Profile. Wenn drei Quellen drei Öffnungszeiten nennen, entscheidet die Maschine — und sie fragt dich nicht.
- Eine strukturierte Angabe, wer du bist — und zwar genau eine. Wenn jede Unterseite deinen Betrieb neu definiert, sieht eine Antwortmaschine pro Seite einen anderen Betrieb und zitiert im Zweifel keinen. Wir haben das über Bestandsseiten hinweg ausgezählt: Der Normalfall sind zehn Definitionen und null gemeinsame Kennung.
Was du sein lassen solltest
Erfundene Bewertungen in den strukturierten Daten. Eine priceRange ohne Preisliste. Textblöcke, die „für KI optimiert" mit Stichwörtern vollgestopft sind. Das erste kostet dich bei Google die Darstellung, das zweite ist eine Falschangabe über deinen eigenen Betrieb, und das dritte liest sich für Menschen wie Sondermüll. Erfundene strukturierte Daten sind schlimmer als fehlende — die Suchmaschine straft sie ab, und die Antwortmaschine gibt sie als Tatsache weiter.
Quellen
- [1] OpenAI — Overview of OpenAI Crawlers
- [2] Anthropic — Does Anthropic crawl data from the web?
- [3] Perplexity — Bots
- [4] Google Search Central — Google Common Crawlers (Google-Extended)
- [5] Google Search Central — AI Features and Your Website
Alle Quellen am 9. September 2026 abgerufen und als PDF archiviert.
Und wenn dir jemand ein „AEO-Paket" verkauft, das im Kern aus einer Textdatei besteht: lies vorher den Beitrag über llms.txt.