KI-Beschleuniger sind Prozessoren, die auf die Rechenoperationen neuronaler Netze zugeschnitten sind, im Kern auf massenhaft parallel ausgeführte Matrixmultiplikationen. Der Unterschied zum Hauptprozessor lässt sich einfach fassen: Eine CPU führt wenige Aufgaben sehr schnell nacheinander aus, ein Beschleuniger tausende einfache Rechnungen gleichzeitig.
Drei Gattungen sind gebräuchlich: GPUs, ursprünglich für Grafik entwickelt und heute die verbreitetste Wahl für Training und Betrieb großer Modelle, TPUs als von Google für diesen Zweck entworfene Chips und NPUs als kleine, sparsame Einheiten in Endgeräten. Kennzahlen für die Leistungsfähigkeit sind die Rechenleistung in niedrigen Genauigkeitsstufen, die Größe des angebundenen Speichers und dessen Übertragungsrate, wobei der Speicher bei großen Modellen häufig die eigentliche Grenze bildet.
Praktisch bedeutsam ist die Trennung zweier Betriebsarten: Das Training eines großen Modells verlangt riesige Verbünde über Wochen, während die Anwendung eines fertigen Modells mit deutlich weniger auskommt. Für die meisten Unternehmen ist eigene Hardware daher unwirtschaftlich, sofern nicht Datenschutz oder Dauerlast den Ausschlag geben; gemietete Rechenzeit ist der Regelfall.