オープン&ローカルAI

Recursive、ノートPCで動作するAI開発によるコーディングモデル「Flint」を公開

Recursiveは、ノートPC上でローカル実行可能な無料のオープンウェイト・コーディングモデル「Flint」をリリースしました。同社は、自動化された「Eureka Machine」システムにより、4か月未満でこのモデルの開発が完了したと主張しています。

コードを表示しているノートPCとその上に浮遊する機械式ギアキューブ。AI駆動のローカルコーディングを象徴しています。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

元Salesforce最高科学者Richard Socher率いるAIスタートアップRecursiveが、初の公開モデルであるFlintをリリースしました。水曜日に発表されたこの無料のコーディングアシスタントは、クラウドインフラに依存せず、標準的なノートPCなどのローカルハードウェアのみで完全に動作するように設計されています。今回のリリースは、自動研究を通じて自らを改善できるAIシステムの開発という、同社のミッションにおける重要な一歩です。

何が起きたか

Flintは、Apache 2.0ライセンスの下でHugging Faceからダウンロード可能なオープンウェイト・コーディングモデルです。このライセンス選択により、開発者はモデルを自由に使用、修正、配布できます。ローカルで実行することで、ユーザーはコードのプライバシーを保ち、オフラインで作業し、クラウドホスト型AIサービスで一般的なトークンベースの利用料金を回避できます。Recursiveは今年初めにベールを脱ぎ、GV、Nvidia、AMD Venturesなどの投資家から46億5,000万ドルの評価額で6億5,000万ドルの資金調達を行うなど、大規模な支援を得て登場しました。

開発プロセス自体も高度に自動化されました。Recursiveによると、内部の自動研究システム「Eureka Machine」が、Flintの作成のほぼすべての段階で支援を行ったとのことです。この支援により、少数の人間チームがゼロからわずか4か月未満でモデルを構築することができました。同社はFlintを、AIシステムが後続のより高性能なAIモデルの設計と訓練を支援するという概念である「再帰的自己改善」の初期の実用的なテストとして位置付けています。自己改善型AIの安全性への懸念を示す業界観察者もいますが、Recursiveは現在、人間がEureka Machineを監督しており、必要に応じて介入できると主張しています。

仕組み

Flintは混合専門家(Mixture-of-Experts)アーキテクチャを採用しており、特定のタスクに対してモデルのパラメータの一部のみをアクティブにする設計です。Flintは合計400億パラメータを含みますが、一度に使用するのは25億パラメータのみです。このスパース性(疎性)により、同様の総サイズを持つ密なモデルと比較して、モデルは大幅に軽量かつ高速になります。比較のために言えば、Metaが最近リリースしたMuse Spark Openモデルは8,160億パラメータを使用し、少なくとも1テラバイトのメモリを必要とする一方、Flintは一般消費者向けのノートPC向けに最適化されています。

Eureka Machineは、この効率性を達成するために具体的な技術的最適化に貢献しました。Recursiveによれば、同システムはよりスパースなモデル形状の設計を助け、品質の最小限の低下でモデルサイズを71%削減する低ビット訓練技術を実装しました。また、基礎となる数学的計算を加速する専用ソフトウェアルーチンであるカスタムカーネルも開発しました。これらの革新により、Flintはパフォーマンスを過度に犠牲にすることなく、コンシューマー向けハードウェア上でテキストを迅速に生成できます。

主要な詳細

  • Apple M4 Proチップ搭載MacBook Proでは、Flintは約毎秒131トークンを生成し、GoogleのGemma 4などの同等モデルの約2倍の速度を発揮します。
  • NvidiaのRTX Sparkハードウェア上では、モデルは毎秒150トークンを超える速度を達成しました。
  • バグ修正能力を測定するSWE-Bench Verifiedテストにおいて、Flintは500億パラメータ未満の他のモデルを上回りました。
  • Recursiveの自動化されたEureka Machineシステムの多大な支援を受け、4か月未満でモデルが構築されました。
  • FlintはApache 2.0オープンソースライセンスの下で無料でダウンロードおよび利用可能です。
  • Wired誌のWill Knightによる初期の独立テストでは、48GBメモリを搭載したMac上でモデルがコーディングタスクを正常に完了したことが示されました。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、高性能なローカルモデルへの移行は、サードパーティAPIプロバイダーへの依存度を低減します。コード生成をローカルで実行することで、ネットワークリクエストに関連するレイテンシの問題が解消され、独自のプロプライエタリなコードベースが開発者のマシン外に出ないことが保証されます。これは、規制産業で働くチームや、機密性の高い知的財産を扱いパブリッククラウドAIサービスを利用できないチームにとって特に価値があります。

さらに、FlintはAI支援研究の加速的な影響を実証しています。Eureka Machineのような自動化システムが実際に開発サイクルを数年から数ヶ月に圧縮できるならば、オープンソースAIにおけるイノベーションのペースは劇的に高まる可能性があります。ただし、開発者は、ローカルモデルはまだ大規模なクラウドベースのアシスタントよりも明示的なガイダンスを必要とする点に注意すべきです。Recursiveは最良の結果を得るために複雑なタスクを小さなステップに分割することを推奨しており、テクノロジーは強力ですが、シニアエンジニアリング判断の完全な自律的代替品にはまだ至っていないことを示唆しています。

できること

  • Hugging FaceからFlintをダウンロードし、ローカルハードウェア環境でのパフォーマンスをテストしてください。
  • 大きなコーディングプロンプトを小さく離散的なタスクにリファクタリングし、モデルの精度と信頼性を向上させてください。
  • 標準的なベンチマークツールを使用して、現在のローカルモデルと比較し、Flintのトークン生成速度を確認してください。
  • Apache 2.0ライセンス条項を検討し、組織のオープンソース利用ポリシーへの準拠を確認してください。
  • オフラインワークフローを実験し、開発パイプラインのうちインターネットアクセスなしで動作可能な部分を特定してください。
  • Eureka Machineに関するRecursiveからの更新情報を監視し、将来のイテレーションがどのようにモデル最適化をさらに自動化するかを理解してください。
  • #ai
  • #local-llm
  • #coding-assistant
  • #open-source
  • #recursive

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事