Analyse starten

Website & Außenwirkung

Was KI-Crawler von deiner Seite wirklich sehen

Julian Weisel · 9. September 2026 · 9 Min Lesezeit

Auf einer Website, die wir uns im September für ein Angebot angesehen haben, steht in großen Ziffern, wie viele Kunden der Betrieb seit 2019 betreut hat. Im ausgelieferten Quelltext steht an derselben Stelle: „0 Kunden seit 2019". Die Ziffern zählen erst hoch, wenn der Browser das Skript ausführt. Ein Programm, das den Text nur liest, bekommt eine Null — und wenn es diese Null irgendwo zitiert, hat der Betrieb ein Problem, von dem er nichts weiß.

Deine Seite existiert zweimal

Jede moderne Website gibt es in zwei Fassungen, und der Unterschied ist der wichtigste technische Punkt in diesem ganzen Themenfeld.

  • Die ausgelieferte Fassung. Das, was der Server schickt, wenn jemand die Adresse abruft. Reiner Text mit Auszeichnungen.
  • Die gerenderte Fassung. Das, was du siehst, nachdem dein Browser alle Skripte ausgeführt, Inhalte nachgeladen und Zahlen hochgezählt hat.

Bei einer schlanken Seite sind beide fast identisch. Bei einer Seite aus einem Baukasten, mit Buchungssystem, Fahrzeugbestand oder Terminkalender liegen Welten dazwischen. Und die Frage, die darüber entscheidet, ob deine Angaben ankommen, lautet: Welche der beiden Fassungen liest das Programm?

Was wir dazu wissen — und was nicht

Hier ist es wichtig, ehrlich zu trennen, sonst schreibt man Folklore ab.

Für Google ist es dokumentiert: Googlebot rendert Seiten, führt also JavaScript aus. Google beschreibt drei Schritte — „Crawling, Rendering, Indexing" — und für den zweiten wörtlich: „Once Google's resources allow, a headless Chromium renders the page and executes the JavaScript."[1] Das steht in Googles eigener Dokumentation, und es ist der Grund, warum viele Seiten trotz schwerer Skripte in der Suche funktionieren.

Für die KI-Crawler ist es nicht dokumentiert. Ich habe die öffentlichen Unterlagen von OpenAI, Anthropic und Perplexity dafür durchgesehen: Alle drei beschreiben, welche Programme sie einsetzen, wofür, mit welcher Kennung und wie man sie sperrt.[2][3][4] Keiner der drei sagt zu, dass er JavaScript ausführt. Nicht „sie tun es nicht" — sondern: Es gibt keine Zusage, auf die du dich berufen könntest.

Für die Praxis ist das dasselbe Ergebnis: Verlass dich nicht darauf, dass irgendjemand deine Seite ausführt. Wer seine Öffnungszeiten nur per Skript einblendet, wettet auf eine Zusage, die niemand gegeben hat.

Der Selbsttest — eine Zeile, zwei Minuten

Du brauchst kein Werkzeug und keinen Dienstleister dafür. Mac und Linux bringen alles mit, unter Windows tut es die Eingabeaufforderung genauso. So siehst du die ausgelieferte Fassung deiner Startseite als reinen Text:

curl -sL --compressed https://deinedomain.de | sed 's/<[^>]*>//g' | tr -s ' \n' ' \n'

Steht dort alles, was zählt? Anschrift, Öffnungszeiten, Telefonnummer, Preise, die wichtigsten Leistungen? Dann bist du fertig. Fehlt etwas, das im Browser sichtbar ist, hast du deinen Befund.

Wer lieber im Browser bleibt: Öffne die Entwicklerwerkzeuge, schalte JavaScript ab und lade die Seite neu. Was jetzt fehlt, fehlt auch für jedes Programm, das nichts ausführt.

Zwei Fallen, in die ich selbst getappt bin — beide kosten dich sonst eine falsche Diagnose:

1. Kompression. Ohne --compressed liefern viele Server Binärdaten, und du liest daraus Unsinn heraus. Mir ist so einmal „kein Titel, keine Bilder, 125.000 Zeichen Text" herausgekommen — alles falsch, der Fehler lag in der Abfrage.

2. Weiterleitungen. Ohne -L bekommst du bei vielen Seiten eine leere Antwort mit einem Weiterleitungs-Code zurück. Wenn du dann nach einem Wort suchst und es nicht findest, sieht das aus wie ein Befund. Es ist keiner — du hast nur nichts durchsucht.

Was typischerweise verschwindet

Aus den Bestandsaufnahmen, die wir vor Angeboten machen, immer wieder dieselben Kandidaten:

Was im Browser stehtWas ausgeliefert wirdWarum das teuer ist
Hochzählende Kennzahlen („340 Kunden")0Die Zahl, mit der du wirbst, wird als Null gelesen.
Preise aus einem Buchungssystemleerer BereichDie zweithäufigste Frage überhaupt bleibt unbeantwortet.
Fahrzeug- oder Produktliste per Nachladen<main></main>Wir haben genau das gemessen: bei einem Autohändler eine vollständig leere Fahrzeugseite.
Inhalte hinter „Mehr laden"die ersten sechs EinträgeAlles danach existiert für Maschinen nicht.
Termine in einem eingebetteten Fremdsystemein RahmenDer Inhalt liegt auf fremder Domain und gehört nicht zu deiner Seite.
Formular, das erst per Skript entstehtnichtsEs ist nicht verlinkbar, nicht auffindbar, nicht zitierbar.

Der letzte Fall ist der unterschätzteste. Wir haben ihn bei einem Verein gemessen: Der Mitgliedsantrag war vollständig und funktionierte — aber er war ein Fenster, keine Seite. Man konnte ihn nicht in einen Elternbrief schreiben, nicht per Nachricht verschicken, und in keinem Suchergebnis fand ihn jemand. Für einen Verein, der Mitglieder sucht, ist das der teuerste denkbare Zustand.

Die Regel, die man sich merken kann

Was zählt, gehört in die ausgelieferte Fassung. Alles andere ist Komfort und darf gern per Skript kommen — Filter, Bildergalerien, Animationen, Rechner. Aber die Substanz nicht.

Konkret heißt „Substanz":

  • Firmenname, Anschrift, Telefonnummer, E-Mail — als Text, nicht als Bild
  • Öffnungszeiten — als Text auf der Seite, nicht nur im Google-Eintrag
  • Jede Leistung mit eigener Überschrift, am besten auf eigener Adresse
  • Preise oder wenigstens eine belastbare Größenordnung
  • Genau eine h1 je Seite, die auch benennt, worum es geht
  • Ein eigener Seitentitel und eine eigene Beschreibung je Seite

Das ist keine KI-Maßnahme. Das ist die Grundausstattung einer Website, die zufällig auch das Einzige ist, was in diesem Feld zuverlässig wirkt. Wer es hat, muss über Antwortmaschinen kaum nachdenken. Wer es nicht hat, kann sich zehn Extra-Dateien anlegen und ändert nichts.

Was passiert, wenn du nichts machst

Nichts Dramatisches, und genau das ist das Problem: Es gibt keine Fehlermeldung. Deine Seite sieht im Browser gut aus, sie lädt schnell, der Kunde am Telefon beschwert sich nicht. Nur wird über deinen Betrieb dort, wo Leute inzwischen fragen, entweder nichts gesagt — oder etwas, das du selbst nie geschrieben hast, weil es aus einer anderen Quelle stammt. Und weil kein Zähler dafür existiert, merkst du es erst, wenn dir jemand die Antwort zeigt.

Quellen

Alle Quellen am 9. September 2026 abgerufen und als PDF archiviert.

Zum Mitnehmen

3 Schritte, heute machbar

  1. Führ den Selbsttest aus — eine Zeile, zwei Minuten. Mit -L und --compressed, sonst misst du deine eigene Abfrage statt deiner Seite.
  2. Vergleich beide Fassungen anhand von fünf Angaben: Anschrift, Zeiten, Telefon, Preise, Leistungen. Was nur im Browser steht, kommt auf die Liste.
  3. Zieh die Substanz ins HTML. Meistens sind das zwei Stunden Arbeit — und sie wirken gleichzeitig für Google, für Antwortmaschinen und für jeden Menschen mit schlechtem Empfang.

Wir schauen uns an, was ausgeliefert wird

Nicht das, was du im Browser siehst — das, was der Server tatsächlich schickt. Aus derselben Messung kommt meistens auch die Antwort auf die Frage, warum eine Seite bei Google unter Wert läuft.

Selbsteinschätzung starten
Zur Analyse