Die Transformer-Architektur ist der 2017 in der Arbeit „Attention Is All You Need“ von Forschern bei Google vorgestellte Modellaufbau, der die Grundlage praktisch aller heutigen großen Sprachmodelle bildet. Ihr Kern ist der Attention-Mechanismus: Für jedes Wort berechnet das Modell, wie stark es sich auf jedes andere Wort der Eingabe beziehen soll, und löst damit Bezüge über weite Textstrecken hinweg auf.
Der entscheidende praktische Vorteil gegenüber älteren rekurrenten Netzen liegt in der Parallelität, denn ein Transformer verarbeitet eine Sequenz nicht Wort für Wort, sondern in einem Durchgang, was das Training auf sehr großen Datenmengen erst wirtschaftlich machte. Aufgebaut ist das Modell aus einem Encoder, der Eingaben in eine Bedeutungsdarstellung überführt, und einem Decoder, der daraus neue Sequenzen erzeugt; je nach Einsatzzweck wird nur einer der beiden Teile verwendet, bei BERT der Encoder, bei GPT der Decoder. Die Reihenfolge der Wörter, die durch die parallele Verarbeitung verlorenginge, wird über eine Positionskodierung zurückgegeben.
Inzwischen trägt die Architektur weit über Sprache hinaus und wird ebenso für Bilder, Audio, Video und Programmcode eingesetzt. Ein bekannter Schwachpunkt ist der Rechenaufwand der Attention, der mit der Länge der Eingabe überproportional wächst und den Ausbau der Kontextfenster begrenzt.