Basal-omni-1.0-ultra apporte la prise de décision sur image en zero-shot à Gemma 4

Le 18 octobre 2026, le développeur Remek a publié basal-omni-1.0-ultra, un modèle open-weight spécialisé hébergé sur Hugging Face. Construit sur l'architecture Gemma 4 de Google, ce système de 31 milliards de paramètres est conçu pour des tâches de classification critiques plutôt que pour le chat génératif. Il introduit la compréhension d'image en zero-shot dans la gamme basal, permettant aux ingénieurs de router des documents et des requêtes sur la base d'entrées visuelles sans formation multimédia supplémentaire.

Ce qui s'est passé

Cette sortie marque le plus grand modèle de la série basal-omni, passant de la base Bielik précédente de 11 milliards de paramètres à Gemma 4-31B de Google. Contrairement aux grands modèles de langage standards qui génèrent des réponses textuelles détaillées, basal-omni-1.0-ultra fonctionne comme un moteur de décision « Système 1 ». Il lit un état défini — tel qu'un message client, un document récupéré ou une trace d'agent — et produit une décision typée. Le modèle prend en charge les choix, les réponses oui/non, les scores et la sélection d'outils, fournissant une probabilité calibrée pour chaque option en une seule passe avant.

Une avancée significative de cette version est l'inclusion du traitement d'image. En exploitant l'encodeur d'image natif de Gemma 4, le modèle peut analyser des images parallèlement aux états textuels de manière zero-shot. Cela signifie qu'il n'a pas été explicitement entraîné sur des paires image-décision, mais il peut interpréter des données visuelles comme des reçus ou des formulaires. Cependant, le modèle ne prend pas en charge les entrées audio, car la base 31B sous-jacente ne dispose pas d'encodeur audio. La sortie est qualifiée d'expérimentale, incitant les développeurs à valider les performances sur leurs jeux de données spécifiques avant un déploiement complet.

Le processus d'entraînement a impliqué le fine-tuning de la base Gemma 4 à l'aide de LoRA sur environ 640 000 décisions typées en polonais et en anglais. Ces décisions couvraient divers scénarios, y compris l'analyse de contrats, la vérification de règles et la sélection d'outils par agents. Le modèle utilise des cibles souples distillées à partir du modèle basal-1.5 précédent pour améliorer la précision. L'entraînement s'est arrêté après 10 000 étapes lorsque les métriques de développement ont atteint un plateau, et les poids ont été fusionnés et arrondis à une précision bf16 pour une inférence efficace.

Comment cela fonctionne

Le mécanisme central de basal-omni-1.0-ultra diffère fondamentalement de l'IA générative. Au lieu de prédire le mot suivant dans une séquence, le modèle prédit le jeton suivant à partir d'un ensemble contraint de codes d'options (A–Z et combinaisons de deux caractères). Lorsqu'une demande arrive, le serveur préremplit la réponse de l'assistant avec une structure JSON spécifique. Le modèle effectue ensuite une seule passe avant, calculant les probabilités softmax uniquement pour les jetons de réponse autorisés. Cette approche garantit que la sortie ne tombe jamais hors des options fournies et offre une mesure directe de la confiance.

Pour les entrées d'image, le système accepte des images encodées en base64 ou des URL de données dans la charge utile de la demande. L'encodeur d'image Gemma 4 traite ces visuels en jetons, qui sont ensuite considérés comme faisant partie du contexte d'état. Bien que l'encodeur lui-même reste inchangé par rapport au modèle de base, la tête de décision apprend à interpréter ces jetons visuels grâce à son entraînement basé sur le texte. Le serveur applique une calibration de température à partir d'un fichier JSON fourni pour ajuster les seuils de confiance, permettant aux utilisateurs d'automatiser les décisions uniquement lorsque la certitude du modèle dépasse un taux d'erreur prédéfini, tel que 1 % ou 5 %.

Détails clés

• Architecture du modèle : Basé sur Google Gemma 4-31B avec un vocabulaire de 262k ; utilise le fine-tuning LoRA fusionné dans des poids bf16.
• Capacité d'entrée : Prend en charge jusqu'à 255 options par question et des états allant jusqu'à 10 000 jetons sur un GPU de 80 Go.
• Support média : Gère les images via l'encodeur de Gemma 4 en mode zero-shot ; rejette explicitement les entrées audio avec des erreurs HTTP 422.
• Métriques de performance : Atteint un score macro de 0,879 sur le benchmark Werdykt v1, surpassant la variante max 12B de 5,6 points.
• Vitesse d'inférence : Fonctionne avec une latence p50 de 80 ms par question sur un GPU H200 en mode eager, soutenant environ 8,6 décisions par seconde sous charge.
• Calibration : Inclut des seuils de confiance certifiés pour des taux d'erreur de 1 % et 5 %, permettant une automatisation sûre en différant les éléments à faible confiance vers des humains.

Pourquoi c'est important

Pour les ingénieurs logiciels construisant des couches de classification, ce modèle offre une alternative déterministe à la génération de texte probabiliste. Les LLM traditionnels hallucinent souvent ou dérivent des exigences de formatage strictes, nécessitant des pipelines de post-traitement complexes pour extraire des données structurées. Basal-omni-1.0-ultra élimine cette surcharge en contraignant les sorties à des types prédéfinis. Cette fiabilité est cruciale pour des applications telles que le routage du support client, la vérification de conformité ou le traitement de documents financiers, où une catégorisation incorrecte peut avoir des conséquences opérationnelles graves.

L'intégration de la compréhension d'image en zero-shot étend l'utilité du modèle sans le coût de vastes jeux de données multimodaux d'entraînement. Les développeurs peuvent désormais construire des systèmes qui lisent des factures scannées, identifient les méthodes de paiement à partir de photos de reçus ou classifient des formulaires manuscrits en utilisant le même point de terminaison API que pour le texte. Bien que la précision sur les photos réelles difficiles soit inférieure à celle de l'analyse basée sur le texte, les performances sur les documents rendus sont compétitives. Cela permet aux équipes d'unifier leur logique de décision texte et vision dans un seul service gérable.

Ce que vous pouvez faire

• Installez le modèle dans un nouvel environnement Python en utilisant uv et PyTorch 2.11.0 avec prise en charge CUDA 12.8.
• Démarrez le serveur avec le drapeau --media on pour activer les capacités de traitement d'image pour vos demandes.
• Testez le modèle avec vos propres images de documents en utilisant les exemples curl fournis pour établir une référence de précision par rapport à votre flux de travail actuel.
• Examinez le fichier CALIBRATION.json pour définir des seuils de confiance appropriés pour vos niveaux de tolérance aux erreurs spécifiques.
• Utilisez le drapeau --orders 2 si la sensibilité à l'ordre des options est une préoccupation, en acceptant le compromis d'un coût computationnel doublé.
• Validez le modèle sur un ensemble réservé de vos données réelles avant d'automatiser toute décision critique.