High Bandwidth Memory (HBM) ist eine Bauform von Arbeitsspeicher, bei der mehrere Speicherchips übereinandergestapelt und über sehr breite Datenwege direkt neben dem Rechenchip angebunden werden. Der Zweck ist die Übertragungsrate, denn bei KI-Berechnungen liegt der Engpass meist nicht in der Rechenleistung, sondern in der Geschwindigkeit, mit der Modellgewichte zum Prozessor gelangen; ein Beschleuniger, der auf Daten wartet, rechnet nicht.
Gegenüber herkömmlichem Speicher auf der Platine verkürzt die Stapelbauweise die Wege erheblich und liefert ein Vielfaches an Bandbreite bei geringerem Energieaufwand pro übertragenem Bit. Praktisch begrenzt die verbaute HBM-Menge, wie groß ein Modell sein darf, das auf einem einzelnen Beschleuniger läuft; passt es nicht, muss es über mehrere Chips verteilt werden, was zusätzliche Kommunikation und damit Zeit kostet.
Hergestellt wird HBM von wenigen Speicherherstellern, weshalb die Verfügbarkeit dieser Bausteine zeitweise als Engpass der gesamten KI-Hardwareproduktion galt. Die Bauform ist zudem der Grund, warum Advanced Packaging für KI-Chips so bedeutsam ist, denn Rechen- und Speicherchips müssen auf engstem Raum verbunden werden.