Hugging Face ergänzt native PyTorch-Unterstützung für AWS Trainium-Chips

Hugging Face hat TorchNeuron vorgestellt, ein neues natives Backend, mit dem PyTorch-Modelle direkt auf der AWS-Trainium-Hardware ausgeführt werden können. Das Update wurde am 20. Oktober 2026 als öffentliche Beta veröffentlicht und eliminiert die Notwendigkeit spezialisierter Kompilierungs-Workflows. Entwickler können nun standardmäßige PyTorch-APIs für Training und Inferenz auf den KI-Beschleunigern von Amazon nutzen.

Was ist passiert?

Jahrelang erforderte die Ausführung von Hugging-Face-Modellen auf AWS-Trainium- und Inferentia-Chips die Nutzung von Optimum Neuron. Diese Bibliothek fungierte als Brücke zwischen PyTorch und der Hardware und basierte auf dem Paket torch-neuronx, das wiederum auf PyTorch XLA aufbaute. Obwohl funktional, zwang dieser Ansatz Entwickler dazu, sich an ein Compiler-zentriertes Denken zu gewöhnen. Sie mussten mit Lazy Tensors statt sofortiger Ausführung umgehen, sich auf statische Formen beschränken und häufige Neu-Kompilierungen verwalten, wann immer sich der Berechnungsgraph änderte. Optimum Neuron pflegte eigenen Code, einschließlich spezifischer Modellierungsklassen und Trainer, um diese Komplexität vor den Nutzern zu verbergen.

TorchNeuron ändert diese Architektur durch die direkte Integration in PyTorch selbst. Es stellt neuron als natives Gerät bereit, ähnlich wie Entwickler mit CUDA-GPUs oder CPU-Geräten interagieren. Dieser Wandel ermöglicht Eager Execution, was bedeutet, dass Operationen sofort bei ihrem Aufruf ausgeführt werden, anstatt für eine spätere Kompilierung in die Warteschlange gestellt zu werden. Zudem unterstützt es native verteilte APIs wie Fully Sharded Data Parallel (FSDP) und Tensor Parallelism (TP) sowie PyTorchs eigene verteilte Primitive wie DTensor und FSDP2. Darüber hinaus funktioniert es nahtlos mit torch.compile, was Leistungsoptimierungen erlaubt, ohne den Standard-PyTorch-Workflow zu verlassen.

Infolgedessen laufen große Hugging-Face-Bibliotheken wie Transformers, Diffusers, Accelerate, PEFT und TRL jetzt direkt auf Trainium. Entwickler können dieselben Klassen und Skripte verwenden, die sie auch auf anderen Beschleunigern einsetzen würden. Hugging Face empfiehlt Nutzern nun, von Optimum Neuron abzuwandern und diese Bibliotheken direkt mit dem neuen Backend zu verwenden. Das Update zielt darauf ab, die Entwicklererfahrung zu vereinfachen und das Teilen von Modellen im Hugging Face Hub für Nutzer der AWS-Infrastruktur zu erleichtern.

Wie es funktioniert

Der Kernmechanismus hinter TorchNeuron ist seine Integration als natives PyTorch-Backend. Anstatt PyTorch-Operationen über eine externe Compiler-Schicht wie XLA zu übersetzen, ermöglicht TorchNeuron PyTorch, neuron als erstklassiges Gerät anzuerkennen. Dies schaltet den Eager-Mode-Ausführungsmodus frei, bei dem jede Operation sofort auf der Hardware ausgeführt wird. Dies steht im Gegensatz zum vorherigen Modell der verzögerten Auswertung, das den Aufbau eines vollständigen Berechnungsgraphs vor Beginn der Ausführung erforderte.

Durch die Unterstützung nativer verteilter Primitive nutzt TorchNeuron PyTorchs integrierte Tools zur Skalierung von Modellen über mehrere Chips hinweg. Funktionen wie FSDP2 ermöglichen eine effiziente Speichernutzung während des Trainings, indem Modellparameter über Geräte verteilt werden. Für die Inferenz unterstützt das Backend Tensor Parallelism, das Modellebenen auf mehrere Beschleuniger aufteilt, um die Verarbeitung zu beschleunigen. Das System fördert zudem die Verwendung statischer Caches für Generierungsaufgaben, um den Overhead durch Neu-Kompilierungen zu minimieren und sicherzustellen, dass die Leistung auch bei der Flexibilität der Eager Execution hoch bleibt.

Wichtige Details

• TorchNeuron ist ab dem 20. Oktober 2026 als öffentliche Beta verfügbar.
• Entwickler können das Paket über den Befehl pip install torch-neuronx installieren.
• Das neue Backend unterstützt Eager Execution, torch.compile und native verteilte APIs wie FSDP und TP.
• In Transformers werden 89 % der Top-100 meistgenutzten Textgenerierungs-Modellarchitekturen out-of-the-box unterstützt, gegenüber 46 % bei Optimum Neuron v0.4.5.
• Nutzer können Modelle auf Neuron-Geräte verschieben, indem sie das Argument device_map=neuron in ihrem Code übergeben.
• Hugging Face empfiehlt die direkte Nutzung von Transformers, Diffusers und anderen Bibliotheken anstelle des Umwegs über Optimum Neuron.

Warum es wichtig ist

Dieses Update senkt die Einstiegshürde für Ingenieure erheblich, die AWS Trainium nutzen möchten. Zuvor führte die Notwendigkeit, wie ein Compiler zu denken, und die Verwaltung statischer Formen zu einer steilen Lernkurve. Indem Hugging Face die Trainium-Erfahrung mit Standard-PyTorch-Workflows in Einklang bringt, können Teams bestehenden Code und vorhandenes Fachwissen wiederverwenden. Dies reduziert den Engineering-Aufwand für die Portierung von Modellen auf AWS-Hardware und minimiert das Risiko von Fehlern, die mit benutzerdefinierten Kompilierungsschritten verbunden sind.

Die Zunahme der unterstützten Modellarchitekturen erweitert zudem den Nutzen von Trainium für Produktions-Workloads. Mit 89 % der Top-Textgenerierungsmodelle, die nativ unterstützt werden, können Organisationen eine breitere Palette von State-of-the-Art-Modellen bereitstellen, ohne auf benutzerdefinierte Integrationen warten zu müssen. Diese Parität mit anderen Beschleunigern bedeutet, dass die Wahl der Hardware stärker durch Kosten und Verfügbarkeit als durch Softwarekompatibilitätsbeschränkungen getrieben werden kann.

Was Sie tun können

• Installieren Sie das neue Backend, indem Sie pip install torch-neuronx in Ihrer Umgebung ausführen.
• Aktualisieren Sie Ihre Inferenz-Skripte so, dass sie device_map=neuron verwenden, wenn Modelle mit Transformers geladen werden.
• Ersetzen Sie Abhängigkeiten von Optimum Neuron durch direkte Aufrufe von Hugging-Face-Bibliotheken wie Transformers und Diffusers.
• Implementieren Sie statische Caches für Textgenerierungsaufgaben, um häufige Neu-Kompilierungen zu verhindern und die Leistung zu verbessern.
• Testen Sie Ihre bestehenden verteilten Trainings-Setups unter Verwendung nativer PyTorch-Primitive wie FSDP2 und DTensor auf Trainium-Instanzen.
• Lesen Sie den PyTorch-Blog für weitere technische Details dazu, wie TorchNeuron in das breitere PyTorch-Ökosystem integriert ist.