Recursive lance Flint, un modèle de codage prêt pour les ordinateurs portables, conçu par une IA

Recursive, une startup d'IA dirigée par Richard Socher, ancien scientifique en chef chez Salesforce, a publié son premier modèle public, Flint. Lancé mercredi, cet assistant de codage gratuit est conçu pour fonctionner entièrement sur du matériel local, comme un ordinateur portable standard, sans dépendre d'une infrastructure cloud. Cette sortie marque une étape significative dans la mission de l'entreprise : développer des systèmes d'IA capables de s'améliorer eux-mêmes grâce à une recherche automatisée.

Ce qui s'est passé

Flint est un modèle de codage à poids ouverts disponible au téléchargement sur Hugging Face sous licence Apache 2.0. Ce choix de licence permet aux développeurs d'utiliser, de modifier et de distribuer le modèle librement. En fonctionnant localement, le modèle permet aux utilisateurs de garder leur code privé, de travailler hors ligne et d'éviter les frais d'utilisation basés sur les tokens courants avec les services d'IA hébergés dans le cloud. Recursive est sortie de sa discrétion plus tôt cette année avec un soutien substantiel, incluant 650 millions de dollars de financement pour une valorisation de 4,65 milliards de dollars auprès d'investisseurs tels que GV, Nvidia et AMD Ventures.

Le processus de développement lui-même a été fortement automatisé. Recursive rapporte que son système interne de recherche automatisée, appelé Eureka Machine, a assisté à presque toutes les étapes de la création de Flint. Cette assistance a permis à une petite équipe humaine de construire le modèle depuis zéro en moins de quatre mois. L'entreprise positionne Flint comme un test pratique précoce de l'auto-amélioration récursive, un concept où les systèmes d'IA aident à concevoir et entraîner des modèles d'IA suivants, plus performants. Alors que certains observateurs de l'industrie s'inquiètent des implications pour la sécurité des IA auto-améliorantes, Recursive maintient que des humains supervisent actuellement la Eureka Machine et peuvent intervenir si nécessaire.

Comment ça fonctionne

Flint utilise une architecture mixture-of-experts (mélange d'experts), une conception qui n'active qu'un sous-ensemble des paramètres du modèle pour chaque tâche donnée. Bien que Flint contienne 40 milliards de paramètres au total, il n'en utilise que 2,5 milliards à la fois. Cette éparsité rend le modèle considérablement plus léger et plus rapide que les modèles denses de taille totale similaire. Pour comparaison, le modèle Muse Spark Open récemment publié par Meta utilise 816 milliards de paramètres et nécessite au moins un téraoctet de mémoire, tandis que Flint est optimisé pour les ordinateurs portables grand public ordinaires.

La Eureka Machine a apporté des optimisations techniques spécifiques pour atteindre cette efficacité. Selon Recursive, le système a aidé à concevoir une forme de modèle plus éparse et a mis en œuvre des techniques d'entraînement à faible bit qui ont réduit la taille du modèle de 71 % avec une perte minimale de qualité. Il a également développé des kernels personnalisés, qui sont des routines logicielles spécialisées accélérant les calculs mathématiques sous-jacents. Ces innovations permettent à Flint de générer du texte rapidement sur du matériel grand public sans sacrifier trop de performances.

Détails clés

• Flint génère environ 131 tokens par seconde sur un MacBook Pro équipé d'une puce Apple M4 Pro, soit environ le double de la vitesse de modèles comparables comme Gemma 4 de Google.
• Sur le matériel RTX Spark de Nvidia, le modèle a atteint des vitesses dépassant 150 tokens par seconde.
• Dans les tests SWE-Bench Verified, qui mesurent les capacités de correction de bugs, Flint a surpassé d'autres modèles ayant moins de 50 milliards de paramètres.
• Le modèle a été construit en moins de quatre mois avec une assistance significative du système automatisé Eureka Machine de Recursive.
• Flint est gratuit à télécharger et à utiliser sous la licence open source Apache 2.0.
• Des tests indépendants précoces effectués par Will Knight de Wired ont montré que le modèle réussissait à accomplir des tâches de codage sur un Mac doté de 48 Go de mémoire.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, le passage vers des modèles locaux haute performance réduit la dépendance aux fournisseurs d'API tiers. L'exécution locale de la génération de code élimine les problèmes de latence associés aux requêtes réseau et garantit que les bases de code propriétaires ne quittent jamais la machine du développeur. Cela est particulièrement précieux pour les équipes travaillant dans des industries réglementées ou celles gérant des propriétés intellectuelles sensibles qui ne peuvent pas utiliser les services d'IA publics dans le cloud.

De plus, Flint démontre l'impact accélérateur de la recherche assistée par IA. Si des systèmes automatisés comme la Eureka Machine peuvent effectivement compresser les cycles de développement de plusieurs années à quelques mois, le rythme de l'innovation dans l'IA open source pourrait augmenter considérablement. Cependant, les développeurs doivent noter que les modèles locaux nécessitent encore des directives plus explicites que les grands assistants basés dans le cloud. Recursive conseille de diviser les tâches complexes en étapes plus petites pour obtenir les meilleurs résultats, indiquant que bien que la technologie soit puissante, elle ne constitue pas encore un remplacement totalement autonome du jugement d'ingénierie senior.

Ce que vous pouvez faire

• Téléchargez Flint depuis Hugging Face pour tester ses performances sur votre configuration matérielle locale.
• Refactorisez les grandes invites de codage en tâches plus petites et discrètes pour améliorer la précision et la fiabilité du modèle.
• Comparez la vitesse de génération de tokens de Flint avec vos modèles locaux actuels en utilisant des outils de benchmarking standards.
• Examinez les termes de la licence Apache 2.0 pour assurer la conformité avec les politiques d'utilisation open source de votre organisation.
• Expérimentez avec des workflows hors ligne pour identifier quelles parties de votre pipeline de développement peuvent fonctionner sans accès Internet.
• Suivez les mises à jour de Recursive concernant la Eureka Machine afin de comprendre comment les futures itérations pourraient automatiser davantage l'optimisation des modèles.