Ricursive trainiert ein 65-Milliarden-Parameter-Modell für 32 Mio. US-Dollar mit neuen Coding-Benchmarks

Ricursive Intelligence hat Ripple-65B Preview veröffentlicht, ein neues Open-Weight-Sprachmodell, das die KI-Chipdesign-Plattform des Unternehmens antreiben soll. Das Unternehmen trainierte dieses Modell mit 65 Milliarden Parametern von Grund auf für 32 Millionen US-Dollar und erreichte damit einen neuen State-of-the-Art-Wert unter den US-Open-Weight-Modellen in Benchmarks für agentisches Coding, während es die Trainingskosten größerer Wettbewerber deutlich unterbot.

Was passiert ist

Ricursive Intelligence, ein Full-Stack-KI-Labor, das sich auf die gemeinsame Optimierung von Hardware und Software konzentriert, gab die öffentliche Freigabe von Ripple-65B Preview bekannt. Diese allgemeine Variante leitet sich vom proprietären Modell ab, das intern ihre Tools für das KI-Chipdesign betreibt. Das Modell wurde vorab auf 12 Billionen Tokens trainiert und unterstützt Kontextlängen von bis zu einer Million Tokens. Mit der Veröffentlichung setzte es sofort einen neuen Benchmark für US-Open-Weight-Modelle bei Aufgaben im agentischen Coding.

Die Leistungsmetriken platzieren Ripple-65B vor mehreren deutlich größeren Modellen. Es erzielte eine Punktzahl von 80,52 im TerminalBench 2.1 und übertraf damit Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) und NVIDIA Nemotron 3 Ultra 550B (56,4). Trotz weniger Parameter als diese Wettbewerber liefert Ripple-65B dank seiner dichten Architektur starke Schlussfolgerungsleistungen mit niedriger Latenz bei der Token-Generierung. Das Modell ist derzeit auf Hugging Face, Together AI, GMI Cloud und OpenRouter verfügbar; die Unterstützung durch Fireworks soll kurz nach der Ankündigung folgen.

Für die Branche besonders bemerkenswert ist die Kosteneffizienz. Während Schätzungen für das Training von Frontier-Modellen zwischen 100 Millionen und über 1 Milliarde US-Dollar lagen, entwickelte und trainierte Ricursive Ripple-65B Preview für nur 32 Millionen US-Dollar. Diese Zahl umfasst die gesamten Forschungs- und Entwicklungskosten, einschließlich der Entwicklung der Pretraining-Leiter, des Daten-Mixings, der Bewertungen, des Debuggings, der Generierung synthetischer Daten und der endgültigen Trainingsläufe. Das Unternehmen gibt an, dass dies etwa einem Zehntel der Kosten des bisherigen State-of-the-Art-Open-Weight-Modells für agentisches Coding entspricht.

Wie es funktioniert

Die Effizienzgewinne resultieren aus einer Kombination architektonischer Entscheidungen und einer disziplinierten Trainingsstrategie, die als „Model Laddering“ (Modell-Leiterbildung) bekannt ist. Anstatt Mixture-of-Experts-(MoE)-Architekturen zu übernehmen, die bei jüngeren großen Modellen verbreitet sind, entschied sich Ricursive für einen modernisierten dichten Transformer. Diese Entscheidung reduzierte die Infrastrukturkomplexität und ermöglichte es dem Team, während des gesamten Trainings eine solide Model FLOPs Utilization (MFU) von 40 % beizubehalten, ohne dass benutzerdefinierte Kernels oder Quantisierung erforderlich waren. Die Architektur weist ein „schlanke-und-tiefe“-Seitenverhältnis auf, mit einer schmalen Hidden-Dimension von 5120 und insgesamt 80 Ebenen. Um die Fähigkeiten zur Schlussfolgerung zu steigern, wurden Attention-Heads überdimensioniert, das Verhältnis von Sliding Window Attention (SWA) zu globalen Ebenen erhöht und die SWA-Fenstergröße reduziert. Weitere technische Änderungen umfassten FFN-Aktivierungs-Clipping, gated Attention, globales NoPE (No Positional Embeddings) und Value-Residuals.

Die Trainingseffizienz wurde weiter durch einen steilen Aufstieg beim Reinforcement Learning (RL) verbessert. Anstatt sich auf brutale RL-Skalierung oder den Kauf von Post-Training-Daten zu verlassen, entwickelte das Team interne Pipelines für synthetische Daten mit strenger Qualitätsfilterung. Sie verwendeten eine gemischte RL-Rezeptur, die truncated importance sampling, Score-Centering und lineare Längenstrafen innerhalb hochwertiger, langfristiger synthetischer Umgebungen einsetzte. Mit der Verbesserung des Modells wurden kontinuierlich schwierigere Aufgaben eingeführt. Diese Methode ermöglichte es Ripple-65B, seine höchste TerminalBench-Punktzahl mit nur 1,4 Millionen Rollouts zu erreichen, was ungefähr 70-mal weniger sind als beim bisherigen State-of-the-Art-Modell, Reflection Beam.

Das Pretraining-Rezept wurde durch iterative Experimente im kleinen Maßstab verfeinert, sogenannte Modell-Leitern. Ausgehend von der Olmo-3-Modell-Leiter testete das Team verschiedene Interventionen, wie den Wechsel von Post-Norm zu Pre-plus-Post-Norm, die Implementierung von sigmoid gated Attention und das Hinzufügen von Value-Residuals. Diese kumulativen Änderungen verbesserten die Compute-Effizienz beim Code um bis zu das 16-Fache im Maßstab von 4 Milliarden Parametern im Vergleich zur Baseline-Olmo-3-Leiter. Die finale Version nutzte einen benutzerdefinierten Pretraining-Datensatz mit stark hochskaliertem Code, um sicherzustellen, dass sich das Modell effektiv auf Coding-Aufgaben spezialisierte, bevor es skaliert wurde.

Wichtige Details

• Modellgröße: 65 Milliarden Parameter, dichte Architektur.
• Trainingskosten: 32 Millionen US-Dollar gesamte FuE-Ausgaben, einschließlich Datengenerierung und Infrastruktur.
• Benchmark-Ergebnis: 80,52 im TerminalBench 2.1, ein neuer State-of-the-Art-Wert für US-Open-Weight-Modelle.
• Kontextlänge: Unterstützt bis zu 1 Million Tokens.
• Trainingsdaten: Vorabtrainiert auf 12 Billionen Tokens mit Fokus auf hochskaliertem Code.
• Effizienz: Erreichte SOTA-Leistung mit 70-mal weniger RL-Rollouts als der bisherige Spitzenreiter.

Warum das wichtig ist

Für Engineering-Teams und technische Gründer zeigt Ripple-65B, dass massive Parameterzahlen für leistungsstarkes agentisches Coding nicht zwingend erforderlich sind. Der Erfolg einer dichten, schlanken und tiefen Architektur stellt den vorherrschenden Trend hin zu sparsamen MoE-Modellen infrage und deutet darauf hin, dass sorgfältige architektonische Feinabstimmung bessere Latenz und Effizienz auf spezifischer Hardware liefern kann. Dies ist besonders relevant für Entwickler, die fähige Modelle auf lokalen Geräten oder Edge-Hardware betreiben möchten, wie etwa dem NVIDIA DGX Spark, wo die Speicherbandbreite im Vergleich zu reinen Compute-FLOPs oft ein Engpass ist.

Die Kostenaufstellung bietet zudem einen realistischen Benchmark dafür, was mit disziplinierter Ingenieursarbeit erreichbar ist. Indem Ricursive teure Datenkäufe vermied und sich auf die Qualität synthetischer Daten sowie effiziente RL-Rezepte konzentrierte, erreichte es Frontier-Level-Leistung zu einem Bruchteil der projizierten Industriekosten. Dies signalisiert einen Wandel, bei dem algorithmische Effizienz und Datenqualität möglicherweise schwerer wiegen als brutale Compute-Skalierung, und bietet einen nachhaltigeren Weg für Organisationen, die spezialisierte KI-Tools entwickeln, ohne Zugriff auf Budgets in Höhe von Hunderten Millionen Dollar zu haben.

Was Sie tun können

• Laden Sie Ripple-65B Preview von Hugging Face herunter, um dessen Fähigkeiten im agentischen Coding in Ihrer lokalen Umgebung zu testen.
• Bewerten Sie das Modell anhand Ihrer eigenen Coding-Benchmarks, um Latenz und Genauigkeit im Vergleich zu größeren MoE-Modellen zu prüfen, die Sie derzeit verwenden.
• Prüfen Sie die architektonischen Details, wie das schlank-tiefe Seitenverhältnis und die Implementierung von globalem NoPE, um Ihre eigenen Entscheidungen beim Modell-Design zu informieren.
• Experimentieren Sie mit dem Modell auf Hardware mit geringerer Speicherbandbreite, wie lokalen Workstations, um die Machbarkeit der Bereitstellung für Edge-Anwendungen zu bewerten.
• Untersuchen Sie das berichtete RL-Rezept, insbesondere den Einsatz synthetischer Daten und truncated importance sampling, um Ihre eigenen Post-Training-Pipelines zu optimieren.
• Beobachten Sie die kommende Verfügbarkeit auf Fireworks, um das Modell in cloud-basierte Inferenz-Workflows zu integrieren, falls lokales Hosting nicht möglich ist.