Déploiement de modèles vidéo et audio compressés de 13,7 milliards de paramètres sur des GPU grand public

Video Rebirth a publié HyperFlow H3 Flash, une version compressée du modèle MiniMax-H3 conçue pour la génération conjointe de vidéo et d'audio. Publiée le 7 novembre 2026, cette mise à jour permet aux développeurs d'exécuter des modèles de 13,7 milliards de paramètres sur des GPU grand public en utilisant un élagage structurel agressif et une quantification INT8. Le projet fournit à la fois un package Python pour l'intégration directe et une prise en charge GGUF pour une utilisation dans des outils comme ComfyUI.

Ce qui s'est passé

La publication introduit deux variantes principales de modèles : une pour la génération texte-vers-vidéo-et-audio (t2va) et une autre pour la génération basée sur référence (ref2va). Ces modèles sont dérivés de l'architecture originale MiniMax-H3 mais ont été considérablement réduits en taille et en exigences computationnelles. La variante t2va contient 13,7 milliards de paramètres, tandis que la variante ref2va en compte 13,9 milliards. Les deux sont disponibles au format INT8 pour les serveurs haute performance et au format GGUF pour une compatibilité plus large avec le matériel grand public.

L'équipe d'ingénierie derrière Video Rebirth s'est concentrée sur la démocratisation de ces grands modèles sans nécessiter d'infrastructure de centre de données. Ils y sont parvenus en supprimant certains blocs de transformeurs et en appliquant une factorisation de rang faible aux couches linéaires. La publication inclut des benchmarks détaillés montrant les performances sur divers GPU NVIDIA, allant de la RTX 3090 aux dernières cartes de centre de données H200 et B200. Elle fournit également une interface en ligne de commande et une API Python pour une intégration transparente dans les pipelines existants.

Comment cela fonctionne

HyperFlow H3 Flash réduit la charge computationnelle grâce à trois techniques principales. Premièrement, il utilise l'élagage structurel, supprimant trois des cinquante blocs de transformeurs dans le modèle t2va et un bloc dans le modèle ref2va. Deuxièmement, il applique une factorisation de rang faible à plus d'une centaine de couches linéaires, réduisant davantage le nombre de paramètres. Troisièmement, il emploie une quantification INT8 W8A8 rotative, qui compresse les poids et les activations tout en maintenant la précision grâce à une rotation de Hadamard diagonale par blocs.

Pour gérer les contraintes mémoire sur les GPU plus petits, le système prend en charge plusieurs modes de déchargement (offload). Dans le mode "stream", seuls le VAE actif et un bloc de transformeur ou une couche d'encodeur de texte restent dans la VRAM à tout moment, permettant au modèle de fonctionner sur des cartes disposant d'aussi peu que 24 Go de mémoire. Ce mode n'est que d'environ 2 % plus lent que le maintien de tous les composants dans la VRAM. De plus, le modèle utilise un mécanisme de conditionnement temporel double, où chaque jeton reçoit des informations à la fois sur le niveau de bruit actuel et sur le point final de l'étape, permettant une génération de haute qualité en seulement quatre à huit étapes d'échantillonnage.

Détails clés

• Taille du modèle : Le modèle t2va possède 13,7 milliards de paramètres, et le modèle ref2va en possède 13,9 milliards après élagage et factorisation.
• Étapes d'échantillonnage : Les utilisateurs peuvent choisir entre 4 étapes pour la vitesse, 6 pour l'équilibre ou 8 pour la qualité, avec des grilles sigma fournies dans le module de planification.
• Optimisation mémoire : Le mode de déchargement "stream" permet d'exécuter des clips mixtes de référence de 15 secondes sur des GPU dotés de 24 Go de VRAM en limitant la mémoire d'activation via le découpage par blocs.
• Efficacité de l'encodeur de texte : L'utilisation de la précision FP8 pour l'encodeur de texte Qwen3-VL économise environ 22 GiB de RAM système lors du déchargement, nécessitant l'installation supplémentaire fp8.
• Prise en charge multi-GPU : Le pipeline prend en charge le parallélisme de contexte Ulysses, répartissant les séquences de transformeurs sur jusqu'à huit GPU pour une inférence plus rapide et une utilisation mémoire réduite par GPU.
• Restrictions de licence : Les poids du modèle sont distribués sous l'accord de licence communautaire MiniMax H3, qui restreint leur utilisation dans l'UE, au Royaume-Uni, en Corée du Sud et aux États-Unis sans autorisation.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, cette publication abaisse la barrière à l'entrée pour la génération de vidéo et d'audio haute fidélité. Auparavant, l'exécution de modèles de cette ampleur nécessitait des GPU coûteux de centre de données disposant de centaines de gigaoctets de VRAM. En optimisant pour le matériel grand public, Video Rebirth permet le développement et le déploiement locaux sur des stations de travail équipées de cartes RTX 4090 ou même RTX 3090. Ce changement permet une expérimentation plus itérative et réduit la dépendance aux services d'inférence cloud, qui peuvent être coûteux et introduire de la latence.

La disponibilité des formats GGUF intègre également ces modèles dans l'écosystème open source plus large, notamment au sein de ComfyUI. Cette compatibilité signifie que les développeurs peuvent tirer parti des workflows existants et des nœuds communautaires plutôt que de construire des moteurs d'inférence personnalisés depuis zéro. Les benchmarks détaillés fournis aident les équipes à prendre des décisions éclairées concernant l'allocation du matériel, en équilibrant la vitesse de génération contre les contraintes mémoire selon leurs exigences de production spécifiques.

Ce que vous pouvez faire

• Installez le package Python en utilisant make install pour configurer l'environnement virtuel et les dépendances pour l'exécution du runtime INT8.
• Utilisez le drapeau --offload stream lors de l'exécution sur des GPU disposant de moins de 60 Go de VRAM pour gérer efficacement l'utilisation mémoire sans perte de vitesse significative.
• Activez la précision FP8 pour l'encodeur de texte en installant l'extra [fp8] si votre matériel le prend en charge, ce qui permet d'économiser une quantité substantielle de RAM système lors du déchargement.
• Exécutez des benchmarks avec examples/benchmark.py pour mesurer les temps de bout en bout des étapes du pipeline et l'utilisation maximale de la mémoire sur votre configuration matérielle spécifique.
• Pour les configurations multi-GPU, lancez le pipeline avec torchrun et initialisez le groupe de processus pour répartir l'exécution sur les périphériques disponibles.
• Examinez attentivement les termes de la licence, surtout si vous opérez dans des régions restreintes, afin de garantir la conformité avec l'accord de licence communautaire MiniMax H3.