Offene & lokale KI

Inkling 2 Mini bringt geschleifte Transformer-Architektur auf lokale Hardware

Thinking Machines Lab veröffentlicht Inkling 2 Mini, ein multimodales Mixture-of-Experts-Modell für lokale Umgebungen mit einer einzigartigen Architektur aus geschleiften Schichten.

Ein Glaswürfel mit geschleiften internen Schichten, der die Inkling 2 Mini Architektur darstellt.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Thinking Machines Lab hat Inkling 2 Mini veröffentlicht, ein neues multimodales Mixture-of-Experts-Modell, das für den lokalen Einsatz optimiert ist. Das am 20. November 2026 vorgestellte Modell führt eine geschleifte Transformer-Architektur ein, die Parameter-Effizienz mit hoher Leistungsfähigkeit vereint und sich an Entwickler richtet, die leistungsstarke KI ohne Infrastruktur im Rechenzentrumsmaßstab benötigen.

Was passiert ist

Inkling 2 Mini stellt einen deutlichen Bruch mit herkömmlichen dichten oder klassischen Sparse-Modellen dar. Es verfügt über etwa 26 Milliarden physische Parameter, aktiviert jedoch nur 3 Milliarden pro Token. Diese Effizienz wird durch einen neuartigen strukturellen Trick erreicht: Das Modell durchläuft seine mittleren Schichten dreimal. Dieses Design ermöglicht es dem Modell, sich so zu verhalten, als hätte es 48 logische Schichten, während physisch nur 24 gespeichert werden. Das Ergebnis ist ein System, das hohe Kapazität und tiefes Reasoning beibehält, aber den Speicherbedarf klein genug hält, um auf lokalen Maschinen zu laufen.

Die Veröffentlichung unterstützt sowohl Text- als auch Bildeingaben mit einem Kontextfenster von bis zu 1 Million Tokens. Thinking Machines Lab liefert das Modell in Mixed-Precision-Formaten aus, wobei speziell NVFP4 und MXFP8 für Expertengewichte verwendet werden, was den Speicher- und RAM-Bedarf weiter senkt. Ein DSpark-Drafter ist ebenfalls enthalten, um spekulatives Decoding zu ermöglichen, was zusätzliche Geschwindigkeitsgewinne bei minimalem Speicherkosten bietet. Das Modell positioniert sich als direkter Konkurrent zu anderen mittelgroßen lokalen Modellen; erste Tests deuten auf eine Leistung hin, die mit Qwen 3.8 27B vergleichbar ist.

Wie es funktioniert

Der Kern der Innovation in Inkling 2 Mini liegt im geschleiften Ausführungsprozess. Das Modell besteht aus 24 Decoder-Schichten, doch der Verarbeitungsfluss ist nicht linear. Die Schichten 0–5 und 18–23 werden einmal durchlaufen, während der mittlere Block, die Schichten 6–17, dreimal in einer Schleife ausgeführt wird. Entscheidend dabei ist, dass diese drei Durchläufe dieselben Gewichte wiederverwenden. Um zu verhindern, dass das Modell sich einfach wiederholt, nutzt es Cross-Pass-Nachrichten. Jeder Durchlauf liest Informationen aus den Ausgaben des vorherigen Durchlaufs über gelernte Abfragen für Key-, Value- und MLP-Eingaben. Ein Gating-Controller entscheidet dann, wie viel der neuen Eingabe behalten und wie viel der vorherigen Nachricht integriert werden soll, sodass jeder Schleifendurchlauf die Berechnung verfeinern kann.

Diese Architektur wird durch einen Mixture-of-Experts-Mechanismus unterstützt. Bei jedem Schichtbesuch wählt der Router 8 Experten aus einem Pool von 128. Die Hidden Size beträgt 2.304, mit einer Zwischenbreite der Experten von 1.152. Der Attention-Mechanismus verwendet 24 Query-Heads und acht KV-Heads und integriert gelernte relative Position-Logits sowie dynamische Faltungen (Convolutions) für Full-Attention-Schichten. Diese Kombination aus Gewichtsteilung, iterativer Verfeinerung und selektiver Expertenaktivierung ermöglicht es dem Modell, über seine Gewichtsklasse hinauszuwachsen, was die logische Tiefe und Parameteranzahl betrifft.

Wichtige Details

  • Architektur: Geschleifter Transformer mit 24 physischen Schichten, die durch dreifaches Durchlaufen der mittleren 12 Schichten als 48 logische Schichten fungieren.
  • Parameter: ~26 Milliarden totale physische Parameter, mit 3 Milliarden aktiven Parametern pro Token.
  • Kontextfenster: Unterstützt bis zu 1 Million Tokens für Text- und Bildeingaben.
  • Präzision: Auslieferung im Mixed-Precision-Format mit NVFP4- und MXFP8-Expertengewichten.
  • Leistung: Führt in 32 von 48 Benchmarks im Artificial Analysis Intelligence Index v5, einschließlich Coding- und Vision-Aufgaben.
  • Inference-Unterstützung: Verfügbar über Transformers, Llama App (llama.cpp), MLX und SGLang mit Day-Zero-Support.

Warum das wichtig ist

Für Software-Ingenieure und technische Gründer repräsentiert Inkling 2 Mini einen Wandel hin zu effizienterer lokaler KI. Die Fähigkeit, ein Modell mit der logischen Tiefe eines 48-Schicht-Systems auf Hardware auszuführen, die nur 24 Schichten speichern kann, senkt die Einstiegshürde für anspruchsvolle KI-Anwendungen. Dies ist besonders relevant für Coding-Assistenten, agentische Workflows und vision-basierte Tools, die lange Kontextfenster benötigen, aber innerhalb strenger Speicherbeschränkungen operieren müssen. Die Integration von Mixed-Precision-Gewichten und Unterstützung für spekulatives Decoding bedeutet, dass Entwickler höheren Durchsatz erzielen können, ohne teure GPU-Cluster zu benötigen.

Die Leistung des Modells in Benchmarks wie FrontierCode v2.0 und Terminal-Bench 4.0 deutet darauf hin, dass es gut für Entwicklungsumgebungen geeignet ist. Indem Inkling 2 Mini in vielen Kategorien vor größeren Modellen wie Gemma 4 31B und Nemotron 3.5 Super VL liegt, bietet es Teams eine überzeugende Alternative für die lokale Bereitstellung leistungsfähiger KI. Die Verfügbarkeit einer Forschungsvariante mit variablen Schleifendurchläufen öffnet zudem Türen für Experimente, da Nutzer je nach spezifischem Anwendungsfall Geschwindigkeit gegen Qualität abwägen können.

Was Sie tun können

  • Das Modell lokal testen: Nutzen Sie Llama App oder llama.cpp mit den bereitgestellten GGUF-Quants (IQ4_NL oder Q8_0), um Inkling 2 Mini auf macOS oder Windows auszuführen.
  • Integration mit Python: Verwenden Sie die transformers-Bibliothek und die Klasse AutoModelForMultimodalLM, um das Modell zu laden und Text- oder Bildeingaben zu verarbeiten.
  • Experimentieren mit Schleifendurchläufen: Probieren Sie den Checkpoint TML-d24-varloop-research aus, um die Anzahl der Schleifendurchläufe anzupassen und die Auswirkungen auf Geschwindigkeit und Ausgabequalität zu beobachten.
  • Bereitstellung mit SGLang: Richten Sie einen produktionsreifen Server unter Verwendung von SGLang ein und stellen Sie sicher, dass er auf SM103-Hardware läuft, um optimale Leistung zu erzielen.
  • Spekulatives Decoding aktivieren: Fügen Sie den DSpark-Drafter zu Ihrem SGLang-Setup hinzu, um die Generierungsgeschwindigkeit zu steigern, insbesondere bei Aufgaben mit langem Kontext.
  • MLX für Apple Silicon nutzen: Profitieren Sie vom upstreamed MLX-Support, um das Modell nativ auf Apple-Hardware mit NVFP4- und MXFP8-Quantisierung auszuführen.
  • #ai
  • #local-llm
  • #transformers
  • #machine-learning

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel