Robots.txt AI Blocking bezeichnet das gezielte Aussperren von KI-Crawlern über die Datei robots.txt im Wurzelverzeichnis einer Website. Eingetragen wird dazu je Bot ein Block mit dessen Kennung und einer Sperre für die gewünschten Pfade, etwa für GPTBot, ClaudeBot oder PerplexityBot. Die Wirkung beruht auf Freiwilligkeit: Die robots.txt ist eine Anweisung, die seriöse Betreiber befolgen, aber keine technische Sperre; wirksam durchsetzen lässt sich der Ausschluss nur über Regeln am Server oder in einer vorgelagerten Schutzschicht.
Vor der Entscheidung lohnt die Unterscheidung nach Zweck, denn eine pauschale Sperre kostet auch die Nennung als Quelle in Antworten und damit die Sichtbarkeit, die GEO gerade anstrebt. Sinnvoll ist die Sperre vor allem für Bereiche, deren Inhalte den eigentlichen Wert des Angebots ausmachen, etwa umfangreiche Datenbanken, Archive oder kostenpflichtige Inhalte.
Rechtlich hat der Eintrag mehr Gewicht, als seine Unverbindlichkeit vermuten lässt: Für Text- und Data-Mining zu anderen als wissenschaftlichen Zwecken gilt die urheberrechtliche Ausnahme nur, soweit sich der Rechteinhaber die Nutzung nicht vorbehalten hat, wobei der Vorbehalt bei online zugänglichen Werken maschinenlesbar erfolgen muss (§ 42h UrhG, umgesetzt aus Art. 4 der Richtlinie (EU) 2019/790). Die KI-Verordnung verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck ausdrücklich dazu, solche Vorbehalte zu ermitteln und zu beachten (Art. 53 Abs 1 lit c Verordnung (EU) 2024/1689).