AI Crawler sind automatisierte Programme, die Websites abrufen, um Inhalte für KI-Systeme verfügbar zu machen. Sie melden sich beim Abruf über einen User Agent, also eine Kennung im Anfragekopf, an der sich der Betreiber ablesen lässt; verbreitet sind unter anderem GPTBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot (Stand 07/2026).
Wichtig ist die Unterscheidung des Zwecks, denn manche Bots sammeln Material für das Training künftiger Modelle, andere rufen Seiten erst im Moment einer Nutzeranfrage ab, um eine aktuelle Antwort zu belegen. Diese Trennung hat Folgen: Wer alle KI-Bots aussperrt, verhindert nicht nur die Verwendung als Trainingsmaterial, sondern auch die Nennung als Quelle in Antworten. Einige Anbieter stellen dafür getrennte Kennungen bereit, etwa Google-Extended, das die Verwendung für KI-Dienste steuert, ohne die Aufnahme in den Suchindex zu beeinflussen.
Gesteuert wird der Zugriff über die Datei robots.txt und ergänzend über Regeln am Server oder in der Firewall; die robots.txt ist dabei eine Bitte, keine technische Sperre. In den Serverprotokollen lässt sich nachvollziehen, welche Bots tatsächlich zugreifen, was vor jeder Entscheidung über das Sperren der bessere Ausgangspunkt ist als eine allgemeine Liste.