AgentOps bezeichnet den Betrieb von KI-Agenten: Bereitstellung, Überwachung, Auswertung und laufende Verbesserung im produktiven Einsatz. Der Begriff lehnt sich an DevOps und MLOps an und schließt eine Lücke, die klassische Software-Überwachung nicht abdeckt, denn ein Agent liefert auf dieselbe Eingabe nicht zwangsläufig dasselbe Ergebnis.
Protokolliert werden deshalb nicht nur Fehler und Ausfälle, sondern der gesamte Entscheidungsweg: welche Werkzeuge ein Agent aufgerufen hat, mit welchen Parametern, mit welchem Zwischenergebnis und in welcher Reihenfolge. Dazu kommen Kennzahlen zu Kosten und Tokenverbrauch, zur Bearbeitungsdauer, zur Abbruchquote und zur inhaltlichen Qualität, die über Stichproben oder automatisierte Bewertung erhoben wird. Ein zweiter Baustein sind Schutzmechanismen im laufenden Betrieb, etwa Obergrenzen für Schritte und Ausgaben, gesperrte Aktionen und Abbruchbedingungen bei Endlosschleifen.
Für Unternehmen entscheidet AgentOps darüber, ob ein Pilot produktionsreif wird, denn ohne Nachvollziehbarkeit lässt sich weder eine Fehlerursache finden noch eine Aufsichtspflicht erfüllen. Die KI-Verordnung verlangt für Hochrisiko-Systeme ohnehin automatische Aufzeichnungen über den gesamten Lebenszyklus (Art. 12 Verordnung (EU) 2024/1689).