オープン&ローカルAI

BotPsy、10億パラメータ未満のエージェント型AIをエッジデバイスへ

Tether AI Researchが、デバイス内でのツール利用とプライバシーに最適化された0.8Bパラメータのオープンウェイトモデル「BotPsy」をリリースしました。

マイクロチップ上のニューラルネットワークを表示するスマートフォン。デバイス内AIを象徴しています。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Tether AI Researchは、デバイス上のエージェント型ワークフロー専用に設計された新しい0.8Bパラメータの言語モデル「BotPsy」を発表しました。2026年11月に公開されたこのオープンウェイトモデルは、ユーザーデータをローカルに保持しクラウドインフラへの依存度を低減しながら、高性能なパーソナルアシスタント機能を提供することを目指しています。

何が起きたか

フロンティアクラスのクラウド大規模言語モデルは圧倒的な能力を持っていますが、運用コストが高く、プライバシーリスクも伴います。プロバイダーは予告なくアクセス条件を変更したり、APIを廃止したり、モデルを修正したりする可能性があり、これらに依存する製品を開発しているエンジニアにとって脆弱性となります。さらに、すべてのタスクで巨大なモデルの全性能が必要になるわけではなく、単純で定型的なワークロードに対してはリソースの無駄が生じます。

これらの課題に対応するため、Tether AI ResearchはQwen3.5-0.8Bを基盤とした小型の特化型エージェント「BotPsy」を開発しました。本モデルは関数呼び出し(function calling)やツール利用に最適化されており、Web検索、カレンダー管理、ファイル処理、デバイス制御などのタスクをユーザーのハードウェア上で直接実行できます。低〜中程度の難易度のタスクに焦点を当てることで、BotPsyはクラウドベース推論に伴う遅延やコストなしに、高い効率性と指示追従の信頼性を提供します。

今回のリリースにはApache 2.0ライセンスに基づくオープンウェイトが含まれており、研究および教育目的で利用可能です。bf16、Q8、Q4など複数の精度で提供され、llama.cppおよびQVAC SDKと互換性のあるHugging Face safetensorsおよびGGUFファイルとして配布されています。

仕組み

BotPsyはコンパクトなアーキテクチャを採用し、同サイズクラスにおいて最先端のパフォーマンスを実現しています。パラメータ数はわずか8億ですが、主要な6つのエージェントベンチマークのうち5つでQwen3.5-2B-Thinkなどのより大型のモデルを上回っています。この効率性は、一般的な知識を維持しつつツール利用能力を強化する専門的なトレーニングによって達成されています。

本モデルは、いつ行動すべきか、いつ控えるべきかを判断することに優れています。ハルシネーションテストでは、適切なオプションが存在しない場合にツール利用を正しく拒否し、BFCL v4で86.1点を記録しました。また、マルチターン会話の効果的な処理にも長けており、カスタマーサービス対応などの複雑なシナリオにおいてコンテキストを維持し、厳格なポリシーに従います。これにより、反復的な推論ループの可能性が低下し、ベースモデルでは22.9%だった発生率がBotPsyではわずか1.4%まで減少しました。

エッジ環境向けデプロイメントも簡素化されています。量子化されたGGUF形式の利用が可能であるため、メモリや計算能力が限られたデバイスでもモデルを実行できます。こうしたローカル実行により、メールや財務記録などの機密データがユーザーのデバイス外に出ることはなく、クラウドベースのアシスタントに関連する主要なプライバシー懸念に対処します。

主な詳細

  • BotPsyはQwen3.5-0.8Bを基盤とし、デバイス上のエージェント型タスクに最適化された0.8Bパラメータのモデルです。
  • 最大1.2Bパラメータまでのテスト済みモデルすべてに対し、6つのツール利用およびエージェントベンチマークで上回る性能を示しました。
  • 複雑なタスクにおいて、ベースモデルと比較して推論トークン数を約3分の1に削減します。
  • セーフティ面では、レッドチーミングにおける不安全応答率を21%に抑え、同等のモデルの中で最も低い水準を達成しています。
  • bf16、Q8、Q4の各精度でsafetensorsおよびGGUFファイルとして提供され、容易な統合が可能です。
  • Apache 2.0ライセンスの下で研究・教育用途に利用可能ですが、高リスクなアプリケーションには明確な制限があります。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、BotPsyは分散型でプライバシー重視のAIアプリケーションへの転換を象徴しています。高性能なエージェントをローカルで実行可能にすることで、開発者は外部APIの可用性に依存せず、変動するクラウドコストを発生させることなく製品を構築できます。この安定性は、個人資産管理システムや企業ドキュメントハンドラーなど、一貫したパフォーマンスとデータ主権が求められるアプリケーションにとって極めて重要です。

効率性の向上はユーザー体験の改善にもつながります。低遅延とトークン使用量の削減により、モバイルデバイスやノートパソコンでの応答速度が向上します。開発者は、エッジハードウェアで大型モデルを実行した場合によく見られるバッテリー消費や過剰な発熱を心配することなく、インテリジェントな機能を統合できます。これにより、ユーザーのプライバシーを尊重しつつ実用的な価値を提供する、常時稼働型アシスタントの可能性が広がります。

できること

  • Hugging FaceからsafetensorsまたはGGUF形式でBotPsyモデルの重みをダウンロードしてください。
  • llama.cppまたはQVAC SDKを使用してモデルをテストし、ターゲットハードウェアでのパフォーマンスを評価してください。
  • BFCL v4またはACEBench指標を用いて、現在のデバイス内ソリューションとの比較ベンチマークを実施してください。
  • カレンダースケジュール作成やローカルファイル検索などのタスク向けに、既存アプリへの統合を検討してください。
  • 低〜中程度の難易度領域での適切な適用を確保するため、想定される利用制限事項を確認してください。
  • フィードバックの共有や特定ワークフロー向けのファインチューニング結果の公開を通じて、オープンソースコミュニティに貢献してください。
  • #ai
  • #edge computing
  • #open source
  • #llm
  • #privacy

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

オープン&ローカルAI

Ggml 1.0、FP8およびマルチバックエンド最適化によりローカルAI推論を安定化

ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。

すべての記事