Welche KI-Bots sollte ich auf jeden Fall erlauben?

Wenn Sie in KI-Suchen sichtbar sein wollen: mindestens die Such-Crawler OAI-SearchBot, PerplexityBot und Claude-SearchBot sowie Googlebot und Bingbot. Über Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended entscheiden Sie separat.

nennbar

Anmelden Kostenlos prüfen

Kategorie: Technik & Crawler

Robots.txt AI Directives

Definition auf den Punkt gebracht

Spezifische Steuerungsanweisungen in der robots.txt zur Zulassung oder Blockierung einzelner KI-Crawler wie GPTBot, PerplexityBot, ClaudeBot oder Google-Extended.

Kernfakten · TL;DR

01
Entscheidet darüber, ob KIs eine Website für Trainingsdaten oder Live-Suchen scrapen dürfen.
02
Falsche Blockaden können Ihre Seiten aus den Suchfunktionen der KIs ausschließen.
03
Erfordert Differenzierung zwischen reinem Trainings-Scraping und Live-Search-Grounding.

Hintergrund und Mechanik

Detaillierte Funktionsweise.

Viele Website-Betreiber blockieren pauschal User-Agents wie GPTBot oder CCBot in ihrer robots.txt aus Sorge vor Content-Diebstahl für Modell-Training. Wichtig ist die Unterscheidung: Die großen Anbieter trennen Trainings- und Such-Crawler. Wer GPTBot sperrt, schließt das Training aus, bleibt über OAI-SearchBot aber in der ChatGPT-Suche auffindbar. PerplexityBot ist dagegen der Such-Crawler von Perplexity – wer ihn sperrt, verzichtet auf Nennungen als Quelle.

Die richtige Konfiguration der robots.txt ist eine der wichtigsten technischen Weichenstellungen im AEO. Unternehmen müssen differenzieren: Möchte ich das reine Scraping für Modelltrainings untersagen (z. B. via Google-Extended), aber das Live-Grounding für Suchanfragen erlauben?

Nennbar gibt im Bericht Empfehlungen für Ihre robots.txt, damit die wichtigen KI-Crawler Ihre Seiten abrufen können.

Relevanz für den DACH-Mittelstand

Warum Robots.txt AI Directives in Deutschland, Österreich und der Schweiz anders funktioniert.

Aus Vorsicht haben viele Unternehmen Bot-Blocker in Firewalls oder CDN-Diensten aktiviert oder KI-Crawler pauschal in der robots.txt gesperrt. Die Folge kann sein, dass KI-Suchfunktionen ihre Seiten nicht abrufen können und stattdessen andere Anbieter nennen.

Direkter Vergleich

Praxis-Szenario aus dem B2B-Alltag.

Szenario

„Ein Maschinenbauer wundert sich, warum ChatGPT ihn trotz Spitzenposition bei Google nicht kennt.“

Ohne AI Robots Directives-Optimierung

In der robots.txt sperrt eine pauschale Regel („User-agent: *“ mit „Disallow: /“) alle Bots ohne eigene Regel – damit auch OAI-SearchBot und PerplexityBot.

Mit gezielter Nennbar-Optimierung

Die robots.txt wird korrigiert; die Such-Crawler dürfen die Seiten wieder abrufen, und die Website kann in ChatGPT und Perplexity als Quelle erscheinen.

Schritt für Schritt

Handlungsempfehlungen für Ihre Umsetzung.

01Prüfen Sie Ihre robots.txt auf versehentliche Disallow: / Anweisungen für KI-Crawler.
02Erlauben Sie Such-Crawler wie OAI-SearchBot, PerplexityBot und Claude-SearchBot und entscheiden Sie separat über Trainings-Crawler wie GPTBot und ClaudeBot.
03Stellen Sie sicher, dass Ihre WAF oder DDoS-Schutzsysteme (Cloudflare Bot Management) Such-Bots nicht mit Captchas blockieren.
04Gewähren Sie freien Zugriff auf /llms.txt und /sitemap.xml.

Wissenswertes

Häufig gestellte Fragen

Welche KI-Bots sollte ich auf jeden Fall erlauben?: Wenn Sie in KI-Suchen sichtbar sein wollen: mindestens die Such-Crawler OAI-SearchBot, PerplexityBot und Claude-SearchBot sowie Googlebot und Bingbot. Über Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended entscheiden Sie separat.