Recursive veröffentlicht Flint: Ein KI-generiertes Coding-Modell für Laptops

Recursive, ein von Richard Socher, dem ehemaligen Chefwissenschaftler von Salesforce, geleitetes KI-Startup, hat sein erstes öffentliches Modell, Flint, veröffentlicht. Am Mittwoch wurde dieser kostenlose Coding-Assistent eingeführt, der vollständig auf lokaler Hardware wie einem Standard-Laptop laufen soll, anstatt auf Cloud-Infrastruktur angewiesen zu sein. Die Veröffentlichung markiert einen bedeutenden Schritt in der Mission des Unternehmens, KI-Systeme zu entwickeln, die sich durch automatisierte Forschung selbst verbessern können.

Was passiert ist

Flint ist ein Open-Weight-Coding-Modell, das unter der Apache-2.0-Lizenz auf Hugging Face zum Download bereitsteht. Diese Lizenzwahl ermöglicht es Entwicklern, das Modell frei zu nutzen, zu modifizieren und zu verteilen. Durch den lokalen Betrieb kann das Modell Nutzern helfen, ihren Code privat zu halten, offline zu arbeiten und die bei cloud-basierten KI-Diensten üblichen nutzungsbasierten Token-Gebühren zu vermeiden. Recursive trat Anfang dieses Jahres aus der Deckung hervor und verfügte über erhebliche Unterstützung, darunter 650 Millionen Dollar Finanzierung bei einer Bewertung von 4,65 Milliarden Dollar von Investoren wie GV, Nvidia und AMD Ventures.

Der Entwicklungsprozess selbst war stark automatisiert. Recursive berichtet, dass sein internes automatisiertes Forschungssystem, genannt Eureka Machine, nahezu jede Phase der Erstellung von Flint unterstützte. Diese Hilfe ermöglichte es einem kleinen menschlichen Team, das Modell von Grund auf in weniger als vier Monaten zu bauen. Das Unternehmen positioniert Flint als frühen praktischen Test für rekursive Selbstverbesserung, ein Konzept, bei dem KI-Systeme helfen, nachfolgende, leistungsfähigere KI-Modelle zu entwerfen und zu trainieren. Während einige Branchenbeobachter Bedenken hinsichtlich der Sicherheitsimplikationen selbstverbessernder KI haben, betont Recursive, dass Menschen derzeit die Eureka Machine beaufsichtigen und bei Bedarf eingreifen können.

Wie es funktioniert

Flint nutzt eine Mixture-of-Experts-Architektur, ein Design, das nur eine Teilmenge der Modellparameter für eine bestimmte Aufgabe aktiviert. Obwohl Flint insgesamt 40 Milliarden Parameter enthält, werden gleichzeitig nur 2,5 Milliarden verwendet. Diese Sparsity macht das Modell deutlich leichter und schneller als dichte Modelle ähnlicher Gesamtgröße. Zum Vergleich: Metas kürzlich veröffentlichtes Modell Muse Spark Open nutzt 816 Milliarden Parameter und erfordert mindestens ein Terabyte Speicher, während Flint für gewöhnliche Consumer-Laptops optimiert ist.

Die Eureka Machine trug spezifische technische Optimierungen bei, um diese Effizienz zu erreichen. Laut Recursive half das System dabei, eine sparsamere Modellform zu entwerfen, und implementierte Low-Bit-Trainingstechniken, die die Modellgröße um 71 % mit minimalem Qualitätsverlust reduzierten. Es entwickelte auch benutzerdefinierte Kernels, also spezialisierte Software-Routinen, die die zugrunde liegenden mathematischen Berechnungen beschleunigen. Diese Innovationen ermöglichen es Flint, Text schnell auf Consumer-Hardware zu generieren, ohne zu viel Leistung einzubüßen.

Wichtige Details

• Flint generiert auf einem MacBook Pro mit Apple-M4-Pro-Chip etwa 131 Tokens pro Sekunde, was ungefähr der doppelten Geschwindigkeit vergleichbarer Modelle wie Googles Gemma 4 entspricht.
• Auf Nvidias RTX-Spark-Hardware erreichte das Modell Geschwindigkeiten von über 150 Tokens pro Sekunde.
• In SWE-Bench-Verified-Tests, die die Fähigkeit zur Fehlerbehebung messen, schnitt Flint besser ab als andere Modelle mit weniger als 50 Milliarden Parametern.
• Das Modell wurde in weniger als vier Monaten mit erheblicher Unterstützung durch Recursives automatisiertes Eureka-Machine-System entwickelt.
• Flint steht unter der Apache-2.0-Open-Source-Lizenz kostenlos zum Download und zur Nutzung bereit.
• Frühe unabhängige Tests von Will Knight (Wired) zeigten, dass das Modell Coding-Aufgaben erfolgreich auf einem Mac mit 48 GB Speicher abschloss.

Warum das wichtig ist

Für Software-Ingenieure und technische Gründer reduziert der Trend zu leistungsstarken lokalen Modellen die Abhängigkeit von Drittanbieter-APIs. Die lokale Ausführung der Codegenerierung eliminiert Latenzprobleme im Zusammenhang mit Netzwerk-Anfragen und stellt sicher, dass proprietäre Codebasen niemals die Maschine des Entwicklers verlassen. Dies ist besonders wertvoll für Teams in regulierten Branchen oder solche, die sensible geistiges Eigentum handhaben und keine öffentlichen Cloud-KI-Dienste nutzen können.

Darüber hinaus demonstriert Flint die beschleunigende Wirkung KI-gestützter Forschung. Wenn automatisierte Systeme wie die Eureka Machine tatsächlich Entwicklungszyklen von Jahren auf Monate komprimieren können, könnte das Tempo der Innovation im Bereich Open-Source-KI dramatisch steigen. Entwickler sollten jedoch beachten, dass lokale Modelle immer noch explizitere Anweisungen erfordern als große Cloud-basierte Assistenten. Recursive empfiehlt, komplexe Aufgaben in kleinere Schritte zu unterteilen, um die besten Ergebnisse zu erzielen. Dies zeigt, dass die Technologie zwar mächtig ist, aber noch kein vollautonomer Ersatz für das Urteil erfahrener Ingenieure darstellt.

Was Sie tun können

• Laden Sie Flint von Hugging Face herunter, um die Leistung auf Ihrer lokalen Hardware-Umgebung zu testen.
• Refactorn Sie große Coding-Prompts in kleinere, diskrete Aufgaben, um die Genauigkeit und Zuverlässigkeit des Modells zu verbessern.
• Vergleichen Sie die Token-Generierungsgeschwindigkeit von Flint mit Ihren aktuellen lokalen Modellen unter Verwendung standardisierter Benchmarking-Tools.
• Prüfen Sie die Bedingungen der Apache-2.0-Lizenz, um die Einhaltung der Open-Source-Nutzungsrichtlinien Ihrer Organisation sicherzustellen.
• Experimentieren Sie mit Offline-Workflows, um herauszufinden, welche Teile Ihrer Entwicklungspipeline ohne Internetzugang funktionieren können.
• Verfolgen Sie Updates von Recursive bezüglich der Eureka Machine, um zu verstehen, wie zukünftige Iterationen die Modelloptimierung weiter automatisieren könnten.