Bereitstellung komprimierter 13,7-Milliarden-Parameter-Videomodelle auf Consumer-GPUs

Video Rebirth hat HyperFlow H3 Flash veröffentlicht, eine komprimierte Version des MiniMax-H3-Modells für die gemeinsame Erzeugung von Video und Audio. Die am 7. November 2026 veröffentlichte Version ermöglicht es Entwicklern, Modelle mit 13,7 Milliarden Parametern auf GPUs der Consumer-Klasse auszuführen, indem sie aggressives strukturelles Pruning und INT8-Quantisierung einsetzen. Das Projekt stellt sowohl ein Python-Paket für die direkte Integration als auch GGUF-Unterstützung für die Nutzung in Tools wie ComfyUI bereit.

Was passiert ist

Die Veröffentlichung führt zwei primäre Modellvarianten ein: eine für Text-zu-Video-und-Audio (t2va) und eine weitere für referenzbasierte Generierung (ref2va). Diese Modelle leiten sich von der ursprünglichen MiniMax-H3-Architektur ab, wurden jedoch erheblich in Größe und Rechenanforderungen reduziert. Die t2va-Variante enthält 13,7 Milliarden Parameter, während die ref2va-Variante 13,9 Milliarden umfasst. Beide sind im INT8-Format für Hochleistungs-Server und im GGUF-Format für breitere Kompatibilität mit Consumer-Hardware verfügbar.

Das Engineering-Team hinter Video Rebirth konzentrierte sich darauf, diese großen Modelle zugänglich zu machen, ohne dass Infrastruktur im Rechenzentrum erforderlich ist. Dies wurde erreicht, indem spezifische Transformer-Blöcke entfernt und Low-Rank-Faktorisierung auf lineare Ebenen angewendet wurde. Die Veröffentlichung enthält detaillierte Benchmarks zur Leistungsfähigkeit auf verschiedenen NVIDIA-GPUs, von der RTX 3090 bis hin zu den neuesten Data-Center-Karten H200 und B200. Sie bietet zudem eine Befehlszeilenschnittstelle und eine Python-API für die nahtlose Integration in bestehende Pipelines.

Wie es funktioniert

HyperFlow H3 Flash reduziert die Rechenlast durch drei Haupttechniken. Erstens nutzt es strukturelles Pruning, wobei drei von fünfzig Transformer-Blöcken im t2va-Modell und ein Block im ref2va-Modell entfernt werden. Zweitens wendet es Low-Rank-Faktorisierung auf über hundert lineare Ebenen an, was die Parameteranzahl weiter senkt. Drittens setzt es rotierte W8A8-INT8-Quantisierung ein, die Gewichte und Aktivierungen komprimiert, während die Präzision durch eine blockdiagonale Hadamard-Rotation erhalten bleibt.

Um Speicherengpässe auf kleineren GPUs zu bewältigen, unterstützt das System mehrere Offload-Modi. Im „stream“-Modus verbleiben nur der aktive VAE sowie ein Transformer-Block oder eine Textencoder-Ebene jederzeit im VRAM, sodass das Modell auf Karten mit lediglich 24 GB Speicher laufen kann. Dieser Modus ist nur etwa 2 % langsamer als die vollständige Speicherung aller Komponenten im VRAM. Zusätzlich nutzt das Modell einen Zwei-Zeit-Bedingungsmechanismus, bei dem jedes Token Informationen sowohl über das aktuelle Rauschniveau als auch über den Schrittendpunkt erhält, was eine hochwertige Generierung in nur vier bis acht Sampling-Schritten ermöglicht.

Wichtige Details

• Modellgröße: Das t2va-Modell hat nach Pruning und Faktorisierung 13,7 Milliarden Parameter, das ref2va-Modell 13,9 Milliarden Parameter.
• Sampling-Schritte: Nutzer können zwischen 4 Schritten für Geschwindigkeit, 6 für Balance oder 8 für Qualität wählen; Sigma-Grids werden im Schedule-Modul bereitgestellt.
• Speicheroptimierung: Der „stream“-Offload-Modus ermöglicht das Ausführen von 15-sekündigen Mixed-Reference-Clips auf GPUs mit 24 GB VRAM, indem der Aktivierungsspeicher durch Block-Chunking begrenzt wird.
• Effizienz des Textencoders: Die Verwendung von FP8-Präzision für den Qwen3-VL-Textencoder spart beim Offloading ungefähr 22 GiB System-RAM, erfordert jedoch die Installation des fp8-Extras.
• Multi-GPU-Unterstützung: Die Pipeline unterstützt Ulysses-Kontextparallelität, wobei Transformer-Sequenzen auf bis zu acht GPUs aufgeteilt werden, um schnellere Inferenz und geringeren Speicherverbrauch pro GPU zu erreichen.
• Lizenzbeschränkungen: Die Modellgewichte werden unter der MiniMax H3 Community License Agreement verteilt, die die Nutzung in der EU, im Vereinigten Königreich, in der Republik Korea und in den USA ohne Genehmigung einschränkt.

Warum es wichtig ist

Für Software-Ingenieure und technische Gründer senkt diese Veröffentlichung die Einstiegshürde für hochauflösende Video- und Audiogenerierung. Zuvor erforderte das Ausführen von Modellen dieser Größenordnung teure Data-Center-GPUs mit hunderten Gigabytes VRAM. Durch die Optimierung für Consumer-Hardware ermöglicht Video Rebirth lokale Entwicklung und Bereitstellung auf Workstations, die mit RTX 4090- oder sogar RTX 3090-Karten ausgestattet sind. Dieser Wandel erlaubt iterativeres Experimentieren und reduziert die Abhängigkeit von Cloud-Inferenzdiensten, die kostspielig sein können und Latenzzeiten einführen.

Die Verfügbarkeit von GGUF-Formaten integriert diese Modelle zudem in das breitere Open-Source-Ökosystem, insbesondere innerhalb von ComfyUI. Diese Kompatibilität bedeutet, dass Entwickler bestehende Workflows und Community-Nodes nutzen können, anstatt eigene Inferenz-Engines von Grund auf zu bauen. Die bereitgestellten detaillierten Benchmarks helfen Teams dabei, fundierte Entscheidungen über die Hardware-Allokation zu treffen und die Generierungsgeschwindigkeit gegen Speicherengpässe basierend auf ihren spezifischen Produktionsanforderungen abzuwägen.

Was Sie tun können

• Installieren Sie das Python-Paket mit make install, um die virtuelle Umgebung und die Abhängigkeiten für die INT8-Laufzeit-Ausführung einzurichten.
• Verwenden Sie den Flag --offload stream beim Betrieb auf GPUs mit weniger als 60 GB VRAM, um die Speichernutzung effektiv zu verwalten, ohne erhebliche Geschwindigkeitsverluste.
• Aktivieren Sie FP8-Präzision für den Textencoder durch Installation des [fp8]-Extras, wenn Ihre Hardware dies unterstützt, um erheblichen System-RAM während des Offloadings zu sparen.
• Führen Sie Benchmarks mit examples/benchmark.py aus, um die End-to-End-Pipeline-Stufenzeiten und den maximalen Speicherverbrauch auf Ihrer spezifischen Hardwarekonfiguration zu messen.
• Starten Sie die Pipeline für Multi-GPU-Setups mit torchrun und initialisieren Sie die Prozessgruppe, um die Ausführung über verfügbare Geräte zu sharden.
• Prüfen Sie die Lizenzbedingungen sorgfältig, insbesondere wenn Sie in eingeschränkten Regionen tätig sind, um die Einhaltung der MiniMax H3 Community License Agreement sicherzustellen.