Ricursive entraîne un modèle de 65 milliards de paramètres pour 32 millions de dollars avec de nouveaux benchmarks de codage

Ricursive Intelligence a publié Ripple-65B Preview, un nouveau modèle de langage à poids ouverts conçu pour alimenter sa plateforme de conception de puces IA. L'entreprise a entraîné ce modèle de 65 milliards de paramètres depuis zéro pour 32 millions de dollars, atteignant un nouveau score à la pointe de l'art aux États-Unis pour les modèles à poids ouverts sur les benchmarks de codage agentique, tout en réduisant considérablement les coûts d'entraînement par rapport aux concurrents plus grands.

Ce qui s'est passé

Ricursive Intelligence, un laboratoire d'IA full-stack axé sur la co-optimisation du matériel et du logiciel, a annoncé la publication publique de Ripple-65B Preview. Cette variante à usage général est dérivée du modèle propriétaire qui alimente en interne leurs outils de conception de puces IA. Le modèle a été pré-entraîné sur 12 billions de tokens et prend en charge des longueurs de contexte allant jusqu'à un million de tokens. Dès sa sortie, il a immédiatement établi une nouvelle référence pour les modèles à poids ouverts américains dans les tâches de codage agentique.

Les métriques de performance placent Ripple-65B devant plusieurs modèles nettement plus grands. Il a obtenu un score de 80,52 sur TerminalBench 2.1, dépassant Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) et NVIDIA Nemotron 3 Ultra 550B (56,4). Malgré un nombre de paramètres inférieur à celui de ces concurrents, Ripple-65B offre des performances de raisonnement solides avec une génération de tokens à faible latence grâce à son architecture dense. Le modèle est actuellement disponible sur Hugging Face, Together AI, GMI Cloud et OpenRouter, avec le support de Fireworks prévu peu après l'annonce.

L'aspect peut-être le plus notable pour l'industrie est l'efficacité en termes de coûts. Alors que les estimations pour l'entraînement de modèles de pointe variaient entre 100 millions et plus d'un milliard de dollars, Ricursive a développé et entraîné Ripple-65B Preview pour seulement 32 millions de dollars. Ce chiffre représente le coût total de recherche et développement, incluant le développement de l'échelle d'entraînement (ladder), le mélange de données, les évaluations, le débogage, la génération de données synthétiques et les entraînements finaux. L'entreprise indique que cela correspond approximativement à un dixième du coût du précédent modèle à poids ouverts à la pointe de l'art pour le codage agentique.

Comment ça fonctionne

Les gains d'efficacité proviennent d'une combinaison de choix architecturaux et d'une stratégie d'entraînement disciplinée connue sous le nom de « model laddering ». Plutôt que d'adopter les architectures Mixture-of-Experts (MoE) courantes dans les grands modèles récents, Ricursive a opté pour un Transformer dense modernisé. Cette décision a réduit la complexité de l'infrastructure et leur a permis de maintenir une utilisation efficace des FLOPs du modèle (MFU) solide de 40 % tout au long de l'entraînement, sans nécessiter de kernels personnalisés ni de quantification. L'architecture présente un ratio « fin et profond », avec une dimension cachée étroite de 5120 et 80 couches au total. Pour renforcer les capacités de raisonnement, ils ont surprovisionné les têtes d'attention, augmenté le ratio d'Attention à Fenêtre Glissante (SWA) par rapport aux couches globales et réduit la taille de la fenêtre SWA. Les modifications techniques supplémentaires comprenaient l'écrêtage de l'activation FFN, l'attention à porte (gated attention), le NoPE global (No Positional Embeddings) et les résiduels de valeur.

L'efficacité de l'entraînement a été encore améliorée grâce à une approche d'apprentissage par renforcement (RL) à ascension rapide. Au lieu de compter sur une mise à l'échelle RL par force brute ou l'achat de données post-entraînement, l'équipe a développé des pipelines de données synthétiques internes avec un filtrage qualité rigoureux. Ils ont employé une recette RL mixte utilisant l'échantillonnage d'importance tronqué, la centralisation des scores et des pénalités linéaires de longueur dans des environnements synthétiques de haute qualité et à horizon long. À mesure que le modèle s'améliorait, des tâches plus difficiles étaient continuellement introduites. Cette méthode a permis à Ripple-65B d'atteindre son meilleur score TerminalBench avec seulement 1,4 million de rollouts, soit environ 70 fois moins que le modèle à la pointe de l'art précédent, Reflection Beam.

La recette de pré-entraînement a été affinée grâce à des expériences itératives à petite échelle appelées model ladders. En partant de l'échelle Olmo 3, l'équipe a testé diverses interventions, telles que le passage de la normalisation post-norm à la pre-plus-post norm, l'implémentation de l'attention à porte sigmoïde et l'ajout de résiduels de valeur. Ces changements cumulatifs ont amélioré l'efficacité du calcul sur le code jusqu'à 16x à l'échelle de 4 milliards de paramètres par rapport à l'échelle Olmo 3 de base. La version finale utilisait un jeu de données de pré-entraînement personnalisé avec du code fortement suréchantillonné, garantissant que le modèle se spécialise efficacement dans les tâches de codage avant la montée en échelle.

Détails clés

• Taille du modèle : 65 milliards de paramètres, architecture dense.
• Coût d'entraînement : 32 millions de dollars de dépenses totales en R&D, incluant la génération de données et l'infrastructure.
• Score Benchmark : 80,52 sur TerminalBench 2.1, une nouvelle référence à la pointe de l'art pour les modèles à poids ouverts aux États-Unis.
• Longueur de contexte : Prend en charge jusqu'à 1 million de tokens.
• Données d'entraînement : Pré-entraîné sur 12 billions de tokens avec un accent sur le code suréchantillonné.
• Efficacité : Performance SOTA atteinte avec 70x moins de rollouts RL que le leader précédent.

Pourquoi c'est important

Pour les équipes d'ingénierie et les fondateurs techniques, Ripple-65B démontre que des comptes de paramètres massifs ne sont pas strictement nécessaires pour un codage agentique haute performance. Le succès d'une architecture dense, fine et profonde remet en question la tendance dominante vers les modèles MoE épars, suggérant qu'un réglage architectural minutieux peut offrir une meilleure latence et efficacité sur du matériel spécifique. Cela est particulièrement pertinent pour les développeurs cherchant à exécuter des modèles capables sur des appareils locaux ou du matériel edge, comme le NVIDIA DGX Spark, où la bande passante mémoire est souvent un goulot d'étranglement par rapport aux FLOPs bruts.

La ventilation des coûts fournit également une référence réaliste de ce qui est réalisable avec une ingénierie disciplinée. En évitant les achats coûteux de données et en se concentrant sur la qualité des données synthétiques et des recettes RL efficaces, Ricursive a atteint des performances de pointe pour une fraction des coûts industriels projetés. Cela signale un changement où l'efficacité algorithmique et la qualité des données pourraient surpasser la mise à l'échelle par force brute du calcul, offrant une voie plus durable pour les organisations construisant des outils IA spécialisés sans accès à des budgets de centaines de millions de dollars.

Ce que vous pouvez faire

• Téléchargez Ripple-65B Preview depuis Hugging Face pour tester ses capacités de codage agentique dans votre environnement local.
• Évaluez le modèle sur vos propres benchmarks de codage pour comparer sa latence et sa précision par rapport aux plus grands modèles MoE que vous utilisez actuellement.
• Examinez les détails architecturaux, tels que le ratio fin-et-profond et l'implémentation globale NoPE, pour éclairer vos propres choix de conception de modèles.
• Expérimentez avec le modèle sur du matériel ayant une bande passante mémoire inférieure, comme des stations de travail locales, pour évaluer sa faisabilité de déploiement pour les applications edge.
• Étudiez la recette RL rapportée, spécifiquement l'utilisation de données synthétiques et d'échantillonnage d'importance tronqué, pour optimiser vos propres pipelines post-entraînement.
• Surveillez la disponibilité imminente sur Fireworks pour intégrer le modèle dans des workflows d'inférence cloud si l'hébergement local n'est pas viable.