GEO · Technik KI‑Crawler und robots.txt: GPTBot, OAI-SearchBot und Co. richtig einstellen

Wie KI‑Systeme Websites lesen

Bei KI‑Systemen gibt es drei Arten von Zugriffen. Trainings-Crawler sammeln Texte, mit denen künftige Modelle trainiert werden. Such-Crawler bauen einen eigenen Index auf, aus dem das System bei einer Frage Quellen auswählt und verlinkt. Abrufe im Auftrag eines Nutzers entstehen, wenn jemand im Chat eine bestimmte Seite öffnen lässt oder die KI für eine Antwort live nachsieht.

Für die Sichtbarkeit Ihres Unternehmens zählen vor allem die Such-Crawler. Sperren Sie OAI-SearchBot, erscheint Ihre Website nach Angaben von OpenAI nicht in den Suchantworten von ChatGPT. Ein gesperrter Trainings-Crawler bedeutet dagegen nur, dass Ihre Inhalte nicht in künftige Trainingsdaten einfließen sollen.

Die wichtigsten KI‑Crawler im Überblick

Zwei Besonderheiten sollten Sie kennen. OpenAI und Perplexity weisen darauf hin, dass ihre Abrufe im Nutzerauftrag die robots.txt nicht in jedem Fall beachten, weil ein Mensch die Seite angefordert hat. Und Google-Extended hat laut Google keinen Einfluss darauf, ob Ihre Seiten in der Google-Suche erscheinen oder wie sie dort ranken. AI Overviews und der KI‑Modus gehören zur Suche und werden über den normalen Googlebot gesteuert.

Drei typische Einstellungen

Alles zulassen

Für die meisten Unternehmen ist das die richtige Wahl: Alle Crawler dürfen lesen, ausgenommen Bereiche ohne Nutzen für Besucher.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Sichtbar in KI‑Suchen, aber kein Training

Wer seine Texte nicht in Trainingsdaten sehen möchte, sperrt nur die Trainings-Crawler und Steuerzeichen. Die Such-Crawler fallen unter die allgemeine Regel und bleiben zugelassen.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Was Sie abwägen sollten

Ob Sie das Training sperren, ist eine geschäftliche Entscheidung. Eine Sperre wirkt nur für künftige Trainingsläufe, bereits gelerntes Wissen bleibt. Für viele kleine und mittlere Unternehmen ist es eher ein Vorteil, wenn Modelle den Firmennamen und die Leistungen auch ohne Websuche kennen. Verlage und Anbieter bezahlter Inhalte entscheiden oft anders.

Was das EU-Recht dazu sagt

Die Urheberrechtsrichtlinie der EU erlaubt das automatisierte Auswerten von Texten und Daten, außer der Rechteinhaber hat sich das bei online veröffentlichten Inhalten in maschinenlesbarer Form vorbehalten (Art. 4 Abs. 3 der Richtlinie 2019/790). Die KI‑Verordnung verpflichtet Anbieter von KI‑Modellen mit allgemeinem Verwendungszweck, solche Vorbehalte zu erkennen und einzuhalten (Art. 53 Abs. 1 Buchst. c). Die robots.txt ist das verbreitetste maschinenlesbare Mittel dafür. Ob sie in jedem Fall als wirksamer Vorbehalt genügt, ist rechtlich noch nicht abschließend geklärt.

Häufige Fehler

• Pauschalsperre aus dem Relaunch: Disallow: / für alle Crawler stammt oft von einer Testumgebung und bleibt nach dem Livegang stehen.
• Bot-Schutz sperrt mit: Manche Firewalls, Hosting-Anbieter und Bot-Schutzdienste blockieren KI‑Crawler von sich aus, auch wenn die robots.txt sie erlaubt.
• Subdomains vergessen: Jede Subdomain wie shop.example.com braucht eine eigene robots.txt.
• Falsche Namen: Groß- und Kleinschreibung spielt keine Rolle, Tippfehler schon. Ein „GPT-Bot“ sperrt niemanden.
• Geheimes per robots.txt verstecken: Die Datei ist öffentlich. Wer dort interne Pfade auflistet, macht sie erst recht auffindbar.

So prüfen Sie Ihre Einstellung

1. Rufen Sie https://ihre-domain/robots.txt im Browser auf und lesen Sie jede Gruppe.
2. Prüfen Sie Subdomains und alte Domains, die noch erreichbar sind.
3. Nutzen Sie in der Google Search Console den Bericht zur robots.txt.
4. Suchen Sie in den Server-Protokollen nach OAI-SearchBot, Claude-SearchBot und PerplexityBot. Die Anbieter veröffentlichen ihre IP-Bereiche, damit sich echte von gefälschten Zugriffen unterscheiden lassen.
5. Fragen Sie Ihren Hosting- oder CDN-Anbieter, ob ein Bot-Schutz KI‑Crawler blockiert.

Änderungen brauchen etwas Zeit: OpenAI und Perplexity nennen bis zu 24 Stunden, bis ihre Systeme eine neue robots.txt berücksichtigen. Ob KI‑Systeme Ihr Unternehmen danach tatsächlich nennen, messen wir als GEO-Agentur im kostenlosen Check.