DER CRAWLER-VERTRAG: ROBOTS.TXT, LLMS.TXT UND DIE KI-BOTS

Die meisten Websites behandeln KI-Crawler wie ein einziges Wesen. Entweder “KI darf alles” oder “KI wird blockiert”. Beides ist falsch, weil es die Architektur ignoriert, die die Anbieter selbst dokumentiert haben.

Ein KI-Anbieter besucht deine Seite heute aus mindestens drei verschiedenen Gründen. Und für jeden Grund gibt es einen eigenen Schalter.

DAS FUNDAMENT: WAS ROBOTS.TXT IST UND WAS NICHT

Seit September 2022 ist das Robots Exclusion Protocol als RFC 9309 ein IETF-Standard. Drei Details daraus sind für Systembauer wichtiger als jede Bot-Liste:

Robots.txt ist keine Zugriffskontrolle. Der Standard sagt ausdrücklich, dass die Regeln keine Form der Zugriffsautorisierung sind. Wer Inhalte schützen muss, braucht Authentifizierung, nicht eine Textdatei. Und: Pfade, die du in robots.txt aufführst, machst du damit öffentlich sichtbar.

Änderungen wirken nicht sofort. Crawler dürfen die Datei cachen, sollen eine gecachte Version aber in der Regel nicht länger als 24 Stunden verwenden.

Serverfehler sind gefährlich. Liefert deine robots.txt einen 5xx-Fehler, muss ein Crawler laut RFC von einem vollständigen Verbot ausgehen. Liefert sie dagegen einen 4xx-Fehler, darf er alles crawlen. Ein kaputtes Deployment kann dich also aus allen Systemen werfen, ein fehlendes öffnet alles.

MACHINE NOTE robots.txt ist kein Schloss. Es ist ein Vertrag, den nur die Ehrlichen lesen.

DIE DREI ZWECKE DER KI-BOTS

Schau dir an, wie OpenAI, Anthropic und Google ihre Bots selbst beschreiben. Es entsteht ein klares Muster.

Zweck 1: Training. OpenAI beschreibt GPTBot als den Crawler für Inhalte, die zum Training der Foundation-Modelle verwendet werden können. Anthropic nennt für diesen Zweck ClaudeBot: Wer ihn blockiert, signalisiert, dass künftige Inhalte nicht in Trainingsdaten landen sollen. Google löst es anders: Google-Extended ist kein eigener Crawler, sondern ein Steuer-Token in robots.txt. Er regelt, ob gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini-Apps und Vertex AI genutzt werden dürfen.

Zweck 2: Suche. OpenAIs OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen. Wer ihn aussperrt, taucht laut OpenAI nicht in ChatGPT-Suchantworten auf, höchstens noch als Navigationslink. Anthropic beschreibt Claude-SearchBot analog: Blockieren verhindert die Indexierung und kann die Sichtbarkeit in Suchergebnissen verringern.

Zweck 3: Abruf im Auftrag eines Nutzers. ChatGPT-User und Claude-User besuchen Seiten, wenn ein Mensch im Chat danach fragt. OpenAI weist darauf hin, dass für diese nutzerinitiierten Aufrufe robots.txt-Regeln möglicherweise nicht greifen. Anthropic schreibt, dass ein Block von Claude-User den Abruf auf Nutzeranfragen hin verhindert.

DER HÄUFIGSTE DENKFEHLER

Viele Seiten blockieren Google-Extended, weil sie glauben, damit KI-Antworten in der Google-Suche zu verhindern, oder lassen es offen aus Angst um ihr Ranking. Beides beruht auf einer falschen Annahme. Google schreibt wörtlich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Ranking-Signal verwendet wird.

Der Schalter trennt also Gemini-Training und Gemini-Grounding von der Suche, nicht die Suche von KI.

MACHINE NOTE Wer Training, Suche und Abruf mit einem Schalter regelt, hat das System nicht verstanden.

DIE ENTSCHEIDUNGSMATRIX

Statt “KI ja oder nein” stellst du drei getrennte Fragen. Die Matrix ordnet die dokumentierten Bots den drei Fragen zu:

Frage	OpenAI	Anthropic	Google
Dürfen meine Inhalte ins Training?	GPTBot	ClaudeBot	Token Google-Extended
Will ich in KI-Suchantworten zitiert werden?	OAI-SearchBot	Claude-SearchBot	regulärer Googlebot
Darf ein Nutzer meine Seite per Chat abrufen?	ChatGPT-User	Claude-User	nicht separat

Für ein Publishing-System, das von Reichweite lebt, ergibt sich daraus meist ein Muster: Suche und Abruf offen lassen, weil sie Zitate und Besuche erzeugen. Training ist eine geschäftliche Entscheidung, die du bewusst triffst, nicht aus Reflex. Ein Datensatz, den du verkaufst, braucht eine andere Antwort als ein Blog, der zitiert werden will.

Eine robots.txt nach dieser Logik könnte so aussehen. Das ist ein Beispiel, keine Empfehlung für jede Website:

# Suche und Nutzer-Abruf: erlaubt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# Training: bewusst entschieden, hier gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

WO LLMS.TXT INS SYSTEM PASST

Robots.txt sagt, wer darf. Es sagt nicht, was wichtig ist. Diese Lücke adressiert llms.txt, ein Vorschlag von Jeremy Howard aus dem September 2024. Die Datei liegt unter /llms.txt, ist in Markdown geschrieben und hat genau ein Pflichtelement: eine H1 mit dem Namen der Website. Danach folgen eine Kurzbeschreibung als Zitatblock, optionale Details und Abschnitte mit kuratierten Linklisten. Ein Abschnitt namens “Optional” markiert Links, die ein Agent überspringen kann, wenn er wenig Kontext hat.

Wichtig für die Einordnung: llms.txt ist ein Vorschlag, kein Standard wie RFC 9309, und kein Anbieter ist verpflichtet, die Datei zu lesen. Sie kostet aber fast nichts, wenn sie aus deinem Content-Modell generiert wird statt von Hand gepflegt. Genau so läuft es auf diesem Blog: Die llms.txt entsteht bei jedem Build aus denselben Daten wie Sitemap und RSS.

OPERATOR CHECKLIST: CRAWLER-VERTRAG

• robots.txt muss immer mit 200 antworten. Ein 5xx-Fehler wirkt laut RFC wie ein vollständiges Verbot.
• Getrennte Regeln für Training, Suche und Nutzer-Abruf, nicht ein Block für “KI”.
• Google-Extended nur nach dem richtigen Kriterium setzen: Gemini-Training und Grounding, nicht Suchsichtbarkeit.
• Schutzbedürftige Inhalte hinter Authentifizierung, nie nur hinter robots.txt.
• Nach Änderungen bis zu einen Tag Wirkverzögerung einplanen.
• llms.txt aus dem Content-Modell generieren, nicht von Hand pflegen.
• Die Bot-Dokumentationen der Anbieter regelmäßig prüfen; Namen und Zwecke können sich ändern.

FINAL THESIS

Die Frage ist nicht mehr, ob KI deine Inhalte liest. Die Frage ist, für welchen Zweck du sie lesen lässt.

Wer die drei Zwecke trennt, hat einen Vertrag. Wer sie vermischt, hat nur eine Datei.