Basal-omni-1.0-ultra bringt Zero-Shot-Bildentscheidungen zu Gemma 4

Am 18. Oktober 2026 hat der Entwickler Remek basal-omni-1.0-ultra veröffentlicht, ein spezialisiertes Open-Weight-Modell, das auf Hugging Face gehostet wird. Das System mit 31 Milliarden Parametern basiert auf der Google-Architektur Gemma 4 und ist für Klassifizierungsaufgaben mit hohen Anforderungen konzipiert, nicht für generativen Chat. Es führt Zero-Shot-Bildverständnis in die basal-Reihe ein, sodass Ingenieure Dokumente und Abfragen basierend auf visuellen Eingaben ohne zusätzliches Media-Training routen können.

Was passiert ist

Diese Veröffentlichung markiert das größte Modell in der basal-omni-Serie und skaliert vom vorherigen Bielik-Base-Modell mit 11 Milliarden Parametern auf Googles Gemma 4-31B hoch. Im Gegensatz zu Standard-Large-Language-Modellen, die ausführliche Textantworten generieren, operiert basal-omni-1.0-ultra als eine „System 1“-Entscheidungsmaschine. Es liest einen definierten Zustand – wie eine Kundennachricht, ein abgerufenes Dokument oder einen Agenten-Trace – und gibt eine typisierte Entscheidung aus. Das Modell unterstützt Auswahlmöglichkeiten, Ja/Nein-Antworten, Scores und Tool-Auswahl und liefert bei einem einzigen Forward-Pass eine kalibrierte Wahrscheinlichkeit für jede Option.

Ein wesentlicher Fortschritt dieser Version ist die Integration der Bildverarbeitung. Durch die Nutzung des nativen Bildencoders von Gemma 4 kann das Modell Bilder neben Textzuständen im Zero-Shot-Verfahren analysieren. Das bedeutet, dass es nicht explizit auf Paaren von Bildern und Entscheidungen trainiert wurde, dennoch aber visuelle Daten wie Quittungen oder Formulare interpretieren kann. Das Modell unterstützt jedoch keine Audioeingaben, da dem zugrunde liegenden 31B-Base-Modell ein Audioencoder fehlt. Die Veröffentlichung ist als experimentell gekennzeichnet, und Entwickler werden aufgefordert, die Leistung auf ihren spezifischen Datensätzen vor dem vollständigen Einsatz zu validieren.

Der Trainingsprozess umfasste das Fine-Tuning des Gemma 4-Base-Modells mittels LoRA auf etwa 640.000 typisierten Entscheidungen in Polnisch und Englisch. Diese Entscheidungen deckten verschiedene Szenarien ab, darunter Vertragsanalyse, Regelprüfung und Agenten-Tool-Auswahl. Das Modell nutzt weiche Zielwerte (Soft Targets), die aus dem früheren basal-1.5-Modell destilliert wurden, um die Genauigkeit zu verbessern. Das Training wurde nach 10.000 Schritten gestoppt, als die Entwicklungsmetriken stagnierten, und die Gewichte wurden zusammengeführt und auf bf16-Präzision gerundet, um effiziente Inferenz zu ermöglichen.

Wie es funktioniert

Der Kernmechanismus von basal-omni-1.0-ultra unterscheidet sich grundlegend von generativer KI. Anstatt das nächste Wort in einer Sequenz vorherzusagen, sagt das Modell das nächste Token aus einer eingeschränkten Menge von Optionscodes (A–Z und Zwei-Zeichen-Kombinationen) voraus. Wenn eine Anfrage eingeht, prefillt der Server die Antwort des Assistenten mit einer spezifischen JSON-Struktur. Das Modell führt dann einen einzelnen Forward-Pass durch und berechnet Softmax-Wahrscheinlichkeiten nur für die erlaubten Antwort-Tokens. Dieser Ansatz stellt sicher, dass die Ausgabe niemals außerhalb der bereitgestellten Optionen liegt, und liefert ein direktes Maß an Konfidenz.

Für Bildeingaben akzeptiert das System base64-kodierte Bilder oder Data-URLs innerhalb des Request-Payloads. Der Gemma 4-Bildencoder verarbeitet diese Visuals in Tokens, die dann als Teil des Zustandskontexts behandelt werden. Während der Encoder selbst im Vergleich zum Basismodell unverändert bleibt, lernt der Entscheidungshead, diese visuellen Tokens durch sein textbasiertes Training zu interpretieren. Der Server wendet Temperaturskalibrierung aus einer bereitgestellten JSON-Datei an, um Konfidenzschwellen anzupassen. Dies ermöglicht es Nutzern, Entscheidungen nur dann zu automatisieren, wenn die Sicherheit des Modells eine vordefinierte Fehlerrate überschreitet, z. B. 1 % oder 5 %.

Wichtige Details

• Modellarchitektur: Basierend auf Google Gemma 4-31B mit 262k Vokabular; nutzt LoRA-Fine-Tuning, das in bf16-Gewichte integriert wurde.
• Eingabekapazität: Unterstützt bis zu 255 Optionen pro Frage und Zustände mit bis zu 10.000 Tokens auf einer 80 GB GPU.
• Medienunterstützung: Verarbeitet Bilder über den Gemma 4-Encoder im Zero-Shot-Modus; lehnt Audioeingaben ausdrücklich mit HTTP-422-Fehlern ab.
• Leistungsmetriken: Erreicht einen Makro-Score von 0,879 im Werdykt-v1-Benchmark und übertrifft die 12B-Max-Variante um 5,6 Punkte.
• Inferenzgeschwindigkeit: Läuft mit einer p50-Latenz von 80 ms pro Frage auf einer H200 GPU im Eager-Modus und unterstützt unter Last etwa 8,6 Entscheidungen pro Sekunde.
• Kalibrierung: Enthält zertifizierte Konfidenzschwellen für Fehlerquoten von 1 % und 5 %, was sichere Automatisierung ermöglicht, indem Elemente mit geringer Konfidenz an Menschen delegiert werden.

Warum es wichtig ist

Für Software-Ingenieure, die Klassifizierungsebenen erstellen, bietet dieses Modell eine deterministische Alternative zur probabilistischen Textgenerierung. Traditionelle LLMs neigen oft zu Halluzinationen oder driften von strengen Formatanforderungen ab, was komplexe Post-Processing-Pipelines zur Extraktion strukturierter Daten erfordert. Basal-omni-1.0-ultra eliminiert diesen Overhead, indem es Ausgaben auf vordefinierte Typen beschränkt. Diese Zuverlässigkeit ist entscheidend für Anwendungen wie Customer-Support-Routing, Compliance-Prüfung oder Finanzdokumentverarbeitung, wo falsche Kategorisierungen schwerwiegende operative Konsequenzen haben können.

Die Integration von Zero-Shot-Bildverständnis erweitert den Nutzen des Modells ohne die Kosten massiver multimodaler Trainingsdatensätze. Entwickler können nun Systeme erstellen, die gescannte Rechnungen lesen, Zahlungsmethoden aus Fotos von Quittungen identifizieren oder handschriftliche Formulare über denselben API-Endpunkt klassifizieren, der für Text verwendet wird. Während die Genauigkeit bei schwierigen realen Fotos hinter der textbasierten Analyse zurückbleibt, ist die Leistung bei gerenderten Dokumenten konkurrenzfähig. Dies ermöglicht Teams, ihre Text- und Vision-Entscheidungslogik in einem einzigen, verwaltbaren Dienst zu vereinheitlichen.

Was Sie tun können

• Installieren Sie das Modell in einer frischen Python-Umgebung mit uv und PyTorch 2.11.0 mit CUDA 12.8 Unterstützung.
• Starten Sie den Server mit dem Flag --media on, um die Bildverarbeitungsfähigkeiten für Ihre Anfragen zu aktivieren.
• Testen Sie das Modell mit Ihren eigenen Dokumentenbildern anhand der bereitgestellten curl-Beispiele, um die Genauigkeit gegen Ihren aktuellen Workflow zu baselinen.
• Überprüfen Sie die Datei CALIBRATION.json, um angemessene Konfidenzschwellen für Ihre spezifischen Fehlertoleranzniveaus festzulegen.
• Verwenden Sie das Flag --orders 2, wenn die Empfindlichkeit gegenüber der Reihenfolge der Optionen ein Problem darstellt, wobei Sie den Kompromiss der verdoppelten Rechenkosten akzeptieren.
• Validieren Sie das Modell auf einem separaten Satz Ihrer Realwelt-Daten, bevor Sie risikoreiche Entscheidungen automatisieren.