On-Device-KI bezeichnet die Ausführung von KI-Modellen direkt auf dem Endgerät, also auf Smartphone, Notebook, Kamera oder Steuerung, statt in einem Rechenzentrum. Möglich wird das durch NPUs, kleine spezialisierte Recheneinheiten, die inzwischen in gängigen Prozessoren verbaut sind, sowie durch verkleinerte Modelle, die über Quantisierung mit geringerer Zahlengenauigkeit auskommen und dadurch weniger Speicher belegen.
Vier Vorteile sprechen dafür: Die Daten verlassen das Gerät nicht, es entstehen keine Kosten pro Anfrage, die Reaktion erfolgt ohne Netzverzögerung, und die Funktion bleibt ohne Verbindung verfügbar. Der Preis ist die Modellgröße, denn auf einem Endgerät laufen kompakte Modelle, die an die Leistungsfähigkeit der größten Cloud-Modelle nicht heranreichen. In der Praxis hat sich deshalb eine Aufteilung eingebürgert, bei der einfache Aufgaben lokal erledigt und nur komplexe an die Cloud weitergereicht werden.
Datenschutzrechtlich ist die lokale Verarbeitung ein wirksamer Baustein der Datenminimierung (Art. 5 Abs 1 lit c DSGVO), nimmt dem Betreiber aber weder Rechtsgrundlage noch Sicherheitspflichten für das Gerät selbst ab.