Training eines linearen Attention-Modells auf AWS Trainium2 mit nativem PyTorch

Forscher bei i14 und dem AWS Generative AI Innovation Center haben das Laplace 3B Modell erfolgreich auf AWS Trainium2-Beschleunigern trainiert und bereitgestellt. Die im Oktober 2026 veröffentlichte Arbeit zeigt, wie lineare Attention-Architekturen für spezialisierte Hardware optimiert werden können, ohne auf benutzerdefinierte GPU-Kernels zurückgreifen zu müssen.

Die Zusammenarbeit unterstreicht eine Abkehr vom traditionellen Softmax-Attention-Mechanismus in Transformern, der während des Trainings unter quadratischer Skalierung und während der Inferenz unter steigenden Speicherkosten leidet. Durch die Nutzung der nativen PyTorch-Unterstützung über TorchNeuron Native erreichte das Team signifikante Leistungsmetriken bei einem festen Speicherbedarf pro Sequenz.

Was passiert ist

Große Sprachmodelle basieren typischerweise auf Transformer-Architekturen, die Softmax-Attention verwenden. Während der Inferenz halten diese Modelle einen Key-Value-Cache (KV-Cache) aufrecht, der linear mit der Länge der Konversation oder des Dokuments wächst. Dieses Wachstum begrenzt die Nebenläufigkeit, erhöht die Kosten für die Bereitstellung und zwingt Anwendungen oft dazu, historischen Kontext zu verwerfen. Um diese Einschränkungen zu adressieren, entwickelte i14 Laplace 3B, ein Modell, das auf Prinzipien der linearen Attention basiert.

Im Gegensatz zu Standard-Transformern verwendet Laplace 3B einen rekurrenten Zustand, der unabhängig von der Kontextlänge konstant bei 29,5 MB pro Sequenz bleibt. Das Team arbeitete mit AWS zusammen, um diese Architektur an die Trainium2-Hardware anzupassen. Sie nutzten TorchNeuron Native, eine Beta-Funktion, die es ermöglicht, nativen PyTorch-Code direkt auf AWS Trainium-Beschleunigern auszuführen. Dieser Ansatz bewahrte das Design der Gated Linear Attention (GLA) des Modells sowie die Verwendung des Muon-Optimierers.

Die Ergebnisse zeigten erhebliche Effizienzgewinne. Auf einer einzelnen trn2.48xlarge-Instanz wurde das Modell mit etwa 120.000 Tokens pro Sekunde trainiert. Während der Inferenz wurden 11.544 Output-Tokens pro Sekunde über 1.280 gleichzeitige Sequenzen hinweg bereitgestellt. Diese Zahlen belegen, dass lineare Attention-Modelle auf spezialisierter Hardware hohe Durchsätze erzielen können, wenn der Software-Stack korrekt auf die zugrunde liegende Architektur abgestimmt ist.

Wie es funktioniert

Lineare Attention-Modelle organisieren die Berechnung um einen rekurrenten Zustand herum, anstatt Paarvergleiche zwischen Tokens durchzuführen. Bei traditionellen Transformern wachsen die Attention-Scores während des Trainings quadratisch mit der Sequenzlänge. Laplace 3B ersetzt dies durch einen Mechanismus, der für jedes Token einen Matrixzustand fester Größe aktualisiert. Dies ändert die Trainingskomplexität von O(T^2) zu O(T) und hält den Inferenzspeicher konstant. Das Modell komprimiert die Historie in diesen Zustand, was eine sorgfältige Bewertung der Abrufqualität für spezifische Workloads erfordert.

Die Anpassung dieses Modells für Trainium2 erforderte drei spezifische Engineering-Änderungen. Erstens ersetzte das Team GPU-optimierte Triton-Kernels durch Standard-PyTorch-Operatoren. Sie strukturierten den GLA-Kernel so, dass er 16 Chunks mit jeweils 128 Tokens verwendet, was den 128 Partitionen des NeuronCore-On-Chip-Buffers entspricht. Zweitens redesignten sie die Kommunikation für den Muon-Optimizer. Durch die Verwendung von zwei All-to-All-Kollektiven anstelle von Gather-and-Broadcast-Methoden reduzierten sie den Traffic pro Rank um das 24-fache und steigerten den Durchsatz um das 1,63-fache. Drittens entrollten sie den sequentiellen Backward-Pass statisch, um die Grenzen des Compilers bezüglich Graphgröße und Speicher einzuhalten.

Die Trainium2-Architektur spielte eine entscheidende Rolle bei diesen Optimierungen. Jeder NeuronCore verfügt über einen softwareverwalteten State Buffer (SBUF) von 28 MiB mit 128 Partitionen. Im Gegensatz zum Cache plant der Compiler jede Datenübertragung im Voraus, sodass keine Evictions oder Misses auftreten. Indem das Team jeden 128-Token-Chunk auf eine Partition abbildete, erzielten sie eine Steigerung des gemessenen Durchsatzes um 14 Prozent. Diese Abstimmung zwischen der Chunk-Größe des Modells und den physischen Partitionen der Hardware war der Schlüssel zur Freisetzung der Leistung.

Wichtige Details

• Laplace 3B behält einen festen rekurrenten Zustand von 29,5 MB pro Sequenz bei, unabhängig von der Kontextlänge.
• Das Training auf einer trn2.48xlarge-Instanz erreichte etwa 120.000 Tokens pro Sekunde.
• Die Inferenz stellte 11.544 Output-Tokens pro Sekunde über 1.280 gleichzeitige Sequenzen bereit.
• Die Implementierung nutzte TorchNeuron Native, um Standard-PyTorch-Operatoren auf Trainium2 auszuführen.
• Der Kommunikations-Traffic für den Muon-Optimizer wurde durch die Verwendung von All-to-All-Kollektiven um das 24-fache reduziert.
• Das Modell verwendet 16 Chunks mit jeweils 128 Tokens, um sich an die 128 SBUF-Partitionen auf den NeuronCores anzupassen.

Warum es wichtig ist

Für Ingenieure, die KI-Produkte entwickeln, sind die steigenden Kosten für KV-Caches ein großes Hindernis. Wenn Kontexte länger werden, steigt der Speicherverbrauch stark an, was die Anzahl der gleichzeitigen Nutzer begrenzt, die ein Server verarbeiten kann. Lineare Attention-Modelle wie Laplace 3B bieten einen Weg zu vorhersagbaren Bereitstellungskosten. Da die Zustandsgröße nicht mit dem Kontext wächst, können Anwendungen lange Historien behalten, ohne dass der Speicherbedarf proportional ansteigt. Dies ist besonders wertvoll für agentische Workflows und die Analyse großer Dokumente, wo persistenter Speicher kritisch ist.

Darüber hinaus zeigt diese Arbeit, dass spezialisierte Hardware wie Trainium2 neuartige Architekturen unterstützen kann, ohne dass Low-Level-Kernel-Rewrites erforderlich sind. Durch die Nutzung von nativem PyTorch über TorchNeuron Native können Entwickler hardware-spezifische Optimierungen nutzen, während sie in einem vertrauten Framework bleiben. Der Erfolg der All-to-All-Kommunikationsstrategie für den Muon-Optimizer liefert zudem eine Blaupause für verteiltes Training auf sharded Systemen. Es zeigt, dass die Reduzierung des Kommunikations-Overheads zu erheblichen Durchsatzgewinnen führen kann, selbst wenn die rechnerischen FLOPs unverändert bleiben.

Was Sie tun können

• Bewerten Sie lineare Attention-Modelle für Use Cases, die lange Kontextfenster und vorhersehbaren Speicherverbrauch erfordern.
• Testen Sie TorchNeuron Native, wenn Sie benutzerdefinierte Architekturen auf AWS Trainium-Instanzen bereitstellen.
• Stimmen Sie die Datengrößen der Chunks mit den Hardware-Pufferpartitionen ab, um den Durchsatz auf spezialisierten Beschleunigern zu maximieren.
• Erwägen Sie All-to-All-Kommunikationsmuster für verteilte Optimierer, um Netzwerk-Traffic-Engpässe zu reduzieren.
• Überwachen Sie die Abrufqualität, wenn Sie von Softmax-Attention zu Mechanismen der Zustandskompression wechseln.
• Profilieren Sie Ihre Inferenz-Engine, um festzustellen, ob das Wachstum des KV-Caches Ihre Nebenläufigkeitsgrenzen einschränkt.