KI-Crawler und robots.txt: GPTBot, ClaudeBot, PerplexityBot richtig steuern

Was sind KI-Crawler und warum entscheidet robots.txt über Zitate?

KI-Crawler sind automatische Abrufprogramme von KI-Anbietern. Sie lesen Ihre Seiten, um Modelle zu trainieren, Antworten mit aktuellen Quellen zu versorgen oder eine Nutzerfrage live zu beantworten. Die Datei robots.txt im Hauptverzeichnis Ihrer Domain teilt jedem Bot mit, was er abrufen darf.

Wichtig ist die Trennung in drei Zwecke. Sie erleichtert jede Entscheidung, weil Sie nicht „KI ja oder nein“ beantworten müssen, sondern drei einzelne Fragen.

• Training: Inhalte fließen in die Foundation-Modelle ein. Beispiele: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
• Suche: Inhalte werden für Antwortsysteme indexiert und können zitiert werden. Beispiele: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot.
• Nutzerabruf: Ein Mensch fragt, der Bot holt die Seite in diesem Moment. Beispiele: ChatGPT-User, Claude-User, Perplexity-User.

Für eine Kanzlei oder Beratung, die zitiert werden will, gilt: Die Suchbots erlauben. Ob das Training erlaubt wird, ist eine Geschäftsentscheidung. Die Anbieter dokumentieren die Trennung selbst: OpenAI schreibt, jede Einstellung sei unabhängig, Sie können also OAI-SearchBot erlauben und GPTBot sperren (OpenAI-Doku).

Welche KI-Bots gibt es und was bewirkt jeder?

Die Tabelle fasst die relevanten Bots zusammen. Alle Angaben stammen aus der jeweiligen Herstellerdokumentation, abgerufen am 8. November 2026. Bot-Namen können sich ändern. Prüfen Sie vor der Umsetzung die verlinkte Doku erneut.

Die vollständigen User-Agent-Strings laut Hersteller: GPTBot meldet sich mit Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. PerplexityBot nutzt Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot). Anthropic nennt in der Support-Seite nur die Namen ClaudeBot, Claude-SearchBot und Claude-User, keine vollständigen Strings. Anthropic rät außerdem davon ab, Bots per IP-Adresse zu sperren, weil der Bot dann Ihre robots.txt nicht mehr lesen kann.

Training erlauben oder Zitate erlauben? Die Entscheidungsmatrix

Stellen Sie sich zwei Fragen: Soll ein Anbieter mit Ihren Inhalten trainieren dürfen? Soll er Sie in Antworten zitieren dürfen? Daraus ergeben sich vier Kombinationen.

Für die Zielgruppe Steuerberater, Rechtsanwälte und beratende B2B-Dienstleister ist Vorlage B der übliche Ausgangspunkt. Sie bleiben sichtbar und geben keine Trainingsrechte ohne Prüfung ab. Beachten Sie die Grenze: Ein Disallow ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, ein Schutz vor Missbrauch ist es nicht.

Welche robots.txt-Vorlagen kann ich kopieren?

Drei Vorlagen decken die Matrix ab. Ersetzen Sie die Beispiel-Sitemap durch Ihre eigene URL. Der Kopieren-Button über jedem Block übernimmt den Text in die Zwischenablage.

Vorlage A: alles erlauben

User-agent: *
Allow: /

Sitemap: https://www.beispiel-kanzlei.de/sitemap_index.xml

Vorlage B: Suche und Zitate erlauben, Training sperren

# Suche und Zitate: erlauben
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Training: sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Alle übrigen Bots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.beispiel-kanzlei.de/sitemap_index.xml

Vorlage C: restriktiv

# Klassische Suche bleibt erlaubt
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# KI-Training sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# KI-Suche und Nutzerabruf sperren
User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

Sitemap: https://www.beispiel-kanzlei.de/sitemap_index.xml

Mehr zur Einbettung in die Gesamtstrategie finden Sie im GEO-Leitfaden 2026. Wenn Sie wissen möchten, wo Ihre Seite heute steht, beantwortet der GEO-Check in zwei Minuten die wichtigsten Fragen.

Wie prüfe ich, ob KI-Bots meine Seite wirklich erreichen?

Eine saubere robots.txt reicht nicht. Häufig blockiert eine Firewall oder ein Sicherheitsplugin die Bots schon vorher, ohne dass Sie es sehen. Prüfen Sie deshalb in vier Stufen.

1. robots.txt im Browser ansehen

   Rufen Sie https://ihre-domain.de/robots.txt auf. Die Datei muss ohne Weiterleitung mit Status 200 laden. Auf WordPress-Seiten erzeugt oft ein SEO-Plugin eine virtuelle Datei. Prüfen Sie, ob die Ausgabe Ihrer Vorlage entspricht.

2. Mit curl einen Bot simulieren

   Senden Sie eine Anfrage mit dem User-Agent des Bots. Erhalten Sie 200, ist der Zugang offen. Erhalten Sie 403, 429 oder eine Challenge-Seite, blockiert ein Server, eine Firewall oder ein CDN den Bot, egal was robots.txt sagt.

3. Server-Logs auswerten

   Suchen Sie im Zugriffslog nach den Bot-Namen. Sehen Sie über Wochen keinen Treffer für OAI-SearchBot oder PerplexityBot, kommt der Bot nicht durch oder kennt die Seite nicht. Antwortcodes im Log zeigen, ob er blockiert wird.

4. CDN und Sicherheitsplugin prüfen

   Kontrollieren Sie die Bot-Einstellungen Ihres CDN und die Regeln Ihrer WordPress-Sicherheitsplugins (siehe unten). Danach 24 Stunden warten und erneut testen.

curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://ihre-domain.de/
curl -sI -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://ihre-domain.de/
curl -sI -A "ClaudeBot" https://ihre-domain.de/

grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|bingbot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c

Warum blockiert Cloudflare KI-Bots, obwohl robots.txt sie erlaubt?

Cloudflare filtert Bots vor Ihrem Server. Eine Bot-Einstellung kann KI-Crawler abweisen, bevor sie Ihre robots.txt erreichen. Das ist eine der häufigsten Ursachen für fehlende Zitate. Je nach Version der Oberfläche heißt die Einstellung AI Scrapers and Crawlers oder „Block AI bots“. Prüfen Sie die Bezeichnung in Ihrem Dashboard.

• Öffnen Sie im Cloudflare-Dashboard den Bereich Sicherheit und dort die Bot-Einstellungen.
• Prüfen Sie, ob der Schalter für KI-Scraper und KI-Crawler aktiv ist.
• Cloudflare gliedert KI-Bots nach Verhalten in Suche, Agent und Training. Sperren Sie gezielt nur Training und lassen Sie Suche zu.
• Kontrollieren Sie im Bereich AI Crawl Control, welche Crawler zuletzt abgewiesen wurden (Cloudflare-Doku).
• Prüfen Sie, ob Cloudflare eine eigene robots.txt-Einstellung verwaltet, die Ihre Datei überschreibt.

Welche WordPress-Plugins sperren KI-Bots ungewollt?

Sicherheits- und Performance-Plugins enthalten oft Bot-Filter. Prüfen Sie diese Stellen:

• Firewall- und Sicherheitsplugins mit Bot- oder Rate-Limit-Regeln, die unbekannte User-Agents abweisen.
• SEO-Plugins mit eigenem robots.txt-Editor. Dort kann eine alte Regel stehen, die Ihre neue Datei überlagert.
• Hosting-Firewalls und Caching-Ebenen, die Anfragen ohne Browser-Merkmale blockieren.
• Der Schalter „Suchmaschinen davon abhalten, diese Website zu indexieren“ unter Einstellungen, Lesen. Er muss aus sein.

Wie steuere ich Snippets mit nosnippet, data-nosnippet und max-snippet?

Die Snippet-Steuerung bestimmt, welcher Text Ihrer Seite in der Google-Suche inklusive AI Overviews und AI Mode erscheinen darf. Google dokumentiert drei Werkzeuge (Robots-Meta-Tag-Doku).

Die Regel für Wissensseiten: Setzen Sie kein nosnippet und kein sehr kleines max-snippet, wenn die Seite in KI-Funktionen erscheinen soll. Für einzelne vertrauliche Passagen, etwa Mandantenbeispiele, eignet sich data-nosnippet. Fügen Sie das Attribut nicht per JavaScript nachträglich zu bestehenden Elementen hinzu, Google rät davon ab.

Was bringt IndexNow für Bing und Copilot?

IndexNow ist ein offenes Protokoll, mit dem Sie Suchmaschinen sofort über neue, geänderte oder gelöschte Seiten informieren (IndexNow bei Bing). Microsofts Fabrice Canel empfahl IndexNow auf der SMX München, weil Frische für generative KI zähle (Search Engine Land, Datum aus Kontext, nicht auf der Seite genannt). Google wird auf der IndexNow-Seite nicht genannt.

1. Schlüssel anlegen

   Ein Schlüssel hat 8 bis 128 Zeichen aus Buchstaben, Ziffern und Bindestrichen. Er wird als Textdatei IHR-SCHLUESSEL.txt im Hauptverzeichnis abgelegt und enthält nur den Schlüssel.

2. Plugin nutzen

   Auf WordPress übernehmen SEO-Plugins mit IndexNow-Funktion die Übermittlung bei jeder Veröffentlichung oder Änderung automatisch. Prüfen Sie in den Plugin-Einstellungen, ob IndexNow aktiv ist.

3. Antwort prüfen

   Der Statuscode 200 bestätigt nur, dass die Suchmaschine die Meldung erhalten hat. 403 bedeutet Schlüssel ungültig, 422 URLs und Host passen nicht.

4. Bing Webmaster Tools verifizieren

   Erst nach der Verifizierung steht der Bericht „AI Performance“ zur Verfügung, laut Fachbericht seit Februar 2026 als öffentliche Vorschau. Die Primärankündigung von Microsoft wurde nicht geprüft.

Realistisch betrachtet: IndexNow beschleunigt die Entdeckung, garantiert aber weder Indexierung noch Zitate. Bei Frist- und Rechtsthemen lohnt es sich trotzdem, weil Aktualisierungen schneller sichtbar werden.