Die Bot-Typen: Wer klopft da eigentlich an?
Hinter dem Sammelbegriff „KI-Crawler“ stecken drei Funktionen, die getrennt zu bewerten sind – auch wenn manche Anbieter mehrere davon mit einem Bot oder unter ähnlichen Namen erledigen.
| Typ | Funktion | Beispiele (Stand Juli 2026) | Blockade bedeutet |
|---|---|---|---|
| Trainings-Crawler | Sammeln Inhalte als Lernmaterial für künftige Modellversionen | GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini-Training), Meta-ExternalAgent | Ihre Inhalte fließen nicht ins Training künftiger Modelle ein – auf bestehende Modelle hat das keinen Effekt |
| Abruf-Crawler (Retrieval) | Holen live Quellen für konkrete Nutzerfragen – daraus entstehen Zitate und Empfehlungen | ChatGPT-User / OAI-SearchBot (OpenAI), Claude-User, PerplexityBot | Ihre Website kann in KI-Antworten nicht als Live-Quelle zitiert werden |
| Klassische Such-Crawler | Speisen den Suchindex – inzwischen auch Grundlage vieler KI-Antworten | Googlebot, Bingbot | Verlust der klassischen Suche und der darauf aufbauenden KI-Sichtbarkeit – für Unternehmen praktisch nie sinnvoll |
Was eine Blockade jeweils bewirkt – und was nicht
Training blockieren. Verhindert, dass künftige Modellgenerationen aus Ihren Inhalten lernen. Das kann bewusster Inhaltsschutz sein – etwa bei Verlagen oder einzigartigem Fachcontent. Zu wissen ist: Was bereits trainiert wurde, bleibt; und das „Wissen“ der Modelle über Ihre Marke speist sich auch aus Drittquellen, die Sie nicht kontrollieren.
Live-Abruf blockieren. Nimmt Ihre Website aus dem Quellen-Pool für konkrete KI-Antworten: keine Zitate in Perplexity, keine Empfehlung mit Verweis auf Ihre Seite in ChatGPT. Für Unternehmen, die gefunden und empfohlen werden wollen, ist das in aller Regel ein Eigentor.
Die Grenze der robots.txt. Sie ist eine Konvention: Seriöse Anbieter respektieren die Einträge, verpflichtet sind sie dazu nicht, und unseriöse Scraper ignorieren sie ohnehin. Wer Inhalte wirklich schützen muss, braucht technische Zugangskontrollen – die robots.txt ist Steuerung, kein Schutzwall.
Die Entscheidungshilfe nach Zielbild
Die richtige Politik hängt davon ab, was Ihre Inhalte für Ihr Geschäft sind – Schaufenster oder Ware.
- Sichtbarkeit ist das Ziel (die meisten KMU): Abruf- und Such-Crawler zulassen, Training zulassen oder bewusst offenlassen – Ihre Inhalte sind Ihr Schaufenster, und jede Zitierung ist Werbung. Das ist die GEO-Grundhaltung.
- Inhalte sind das Produkt (Verlage, Kursanbieter, Datenbanken): Training blockieren ist legitim; beim Live-Abruf differenzieren – öffentliche Teaser zulassen, geschützte Inhalte technisch sichern.
- Mischfall: Ratgeber und Leistungsseiten offen, Premium-Bereiche technisch geschützt – die robots.txt kann pfadgenau steuern.
Eine Sonderrolle spielt Google-Extended: Die Sperre betrifft das Gemini-Training, nicht die klassische Google-Suche und nicht automatisch die KI-Antworten der Suche – auch hier lohnt der genaue Blick statt der Pauschalregel.
So prüfen und pflegen Sie Ihre robots.txt
- 01Ist-Stand ansehen: ihredomain.at/robots.txt im Browser öffnen – die Datei ist öffentlich und sofort lesbar.
- 02Einträge verstehen: Jede Gruppe beginnt mit „User-agent:“ (der Bot-Name); „Disallow: /“ sperrt alles, „Disallow:“ (leer) erlaubt alles, Pfade sperren gezielt.
- 03Auf Altlasten prüfen: Viele Websites tragen Pauschal-Sperren aus einer frühen KI-Debatten-Phase – bewusst entschieden oder damals kopiert?
- 04Politik festlegen: je Bot-Typ entscheiden (Training / Abruf / Suche) und die Einträge entsprechend setzen.
- 05Zugriffe kontrollieren: In den Server-Logs zeigt sich, welche Bots real zugreifen – und ob sich neue Namen eingefunden haben.
- 06Quartalstermin setzen: Bot-Namen und Anbieter-Regeln ändern sich; die Politik gehört regelmäßig gegen die aktuelle Lage geprüft.
Typische Missverständnisse
„Blockieren schützt vor KI-Konkurrenz.“ Die Modelle lernen Branchenwissen aus Millionen Quellen – die eigene Sperre ändert daran nichts, kostet aber die eigene Zitierbarkeit. Schutz und Sichtbarkeit sind getrennte Entscheidungen mit getrennten Werkzeugen.
„Einmal gesperrt, Ruhe für immer.“ Die Bot-Landschaft ist in Bewegung: neue Anbieter, umbenannte Crawler, geänderte Funktionen. Eine 2024 kopierte Sperrliste regelt 2026 nicht mehr das, was ihr Autor wollte.
„Die robots.txt ist Rechtsschutz.“ Sie dokumentiert Ihren Willen, erzwingt ihn aber nicht. Urheberrechtliche und vertragliche Fragen rund um KI-Training sind in Bewegung – wer harte Anforderungen hat, kombiniert technische Maßnahmen mit rechtlicher Beratung.
„Das ist ein reines IT-Thema.“ Die Crawler-Politik ist eine Geschäftsentscheidung über Sichtbarkeit und Inhaltsschutz – die Umsetzung ist trivial, die Entscheidung nicht. Sie gehört zu Marketing und Geschäftsführung, nicht in die Standardeinstellung eines Plugins. Für die strategische KI-Einordnung im Unternehmen: unsere Beratung.
Häufige Fragen zu KI-Crawlern
Stand: Juli 2026. Bot-Namen und Anbieter-Regeln ändern sich laufend – Angaben quartalsweise geprüft, ohne Gewähr.