AIエージェント

イベントインボックスと永続的メモリを用いた常時稼働エージェントのアーキテクチャ設計

継続的な監視なしで複数のセッションにまたがって動作する、ステートフルかつプロアクティブなAIエージェントを構築するために必要な5つのコアプリミティブに関する技術的な解説。

時間計測されたエージェントランと安全なデータストレージを表す、サーバーラック上のデジタル砂時計のイラスト。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

モデル能力の向上とコスト低下に伴い、常時稼働(always-on)の人工知能エージェントという概念が注目を集めています。これらのシステムは連続的に実行されるのではなく、定期的に起動してイベントを処理し、タスクを実行した後、休眠状態に戻ります。このアーキテクチャ上の転換により、ソフトウェアはユーザーからの直接的なプロンプトに反応するだけでなく、自律的に行動できるようになります。

大規模言語モデル(LLM)の最近の進歩により、判断力の向上と長期スパンの作業におけるタスク単位の費用削減が進み、このアプローチの実現可能性が高まりました。例えば、新しいモデルでは複雑なコーディングベンチマークにおいて、先行モデルと比較して大幅なコスト削減が実証されています。開発者は現在、単純なチャットインターフェースを超えて自律的なワークフローへと移行し、こうした永続的でステートフルな挙動を製品に統合する方法を模索しています。

何が起きたか

常時稼働エージェントは、断絶したセッション間でコンテキストを維持し、即時の人間の監督なしに行動を起こせる能力によって定義されます。ユーザー視点では常にアクティブに見えるものの、基盤となるシステムはサイクルで動作します。各サイクルは「ラン」と呼ばれ、イベントがエージェントをトリガーすることで開始され、タスク実行を経て、エージェントが状態を保存してから再び休眠することで終了します。

これらのエージェントを支えるアーキテクチャは、イベントインボックス、タイマー、メモリ、権限管理、アウトボックスという5つの特定のプリミティブに依存しています。これらのコンポーネントは、エージェントがいつ起動するか、どのような情報を保持するか、そして外部システムと安全にどのように相互作用するかを管理します。この設計は耐久性と安全性を優先しており、クラッシュ時にイベントが失われないこと、および機微な操作が適切に制御されることを保証します。

この構造は、トリガーメカニズムと実行ロジックを分離します。外部サービスがエージェントを直接呼び出す方式(競合条件やデータ損失の原因となり得る)ではなく、イベントは永続的なストレージにキューイングされます。その後、バックグラウンドワーカーがこれらのイベントを順次またはバッチで処理し、エージェントの状態の一貫性を保ち、一時的な障害による作業の重複や漏れを防ぎます。

仕組み

イベントインボックスは、入力されるトリガーのための中枢神経系として機能します。これは永続的なデータベーステーブル、HTTPハンドラー、およびバックグラウンドワーカーで構成されます。外部ソースからWebhookが送信されたり、スケジュールされたタスクが発火したりすると、ハンドラーはイベントをデータベースに書き込み、迅速に受信を確認します。これにより、ソース側のタイムアウトを防ぐと同時に、より深い検証を後のラン中に実施することが可能になります。

ワーカーは保留中のイベントについてインボックスをポーリングします。同じユーザーに対して複数のイベントが届いた場合、効率化のためにそれらを1回のランにバッチ処理できます。重要なのは、同時修正を防ぐため、任意の時点でインボックスごとにアクティブなワーカーは1つだけであるべきということです。ワーカーがランの途中で失敗した場合、別のインスタンスがデータベースから未処理のイベントを引き継ぐことができ、信頼性が確保されます。

タイマーは将来のアクションをスケジュールすることで、プロアクティブな挙動を可能にします。これらは別の永続的なテーブルに保存され、スケジューラサービスによって管理されます。スケジューラは期限切れのタイマーをスキャンし、ステータスを更新し、対応するイベントをインボックスに注入します。これにより、エージェントは過去のタスクに対するフォローアップを行ったり、毎日サマリーを送信するような定例業務を実行したりすることができ、継続的な外部トリガーが必要なくなります。

メモリは、永続的ストレージにマップされたファイルベースのシステムを通じて処理されます。エージェントは各ランの開始時に、ユーザー指示、ノート、過去メッセージ、タスク進捗ファイルを読み込みます。コンテキストウィンドウを管理可能なサイズに保ち、コストを抑えるため、最初は必須のインデックスのみを読み込み、詳細なファイルは必要になった時点でのみ取得します。この分離により、ワーカーが再起動しても重要な情報が永続的に保持されます。

主要な詳細

  • 常時稼働エージェントは、連続的に実行されるのではなく、イベントによってトリガーされる離散的なランとして動作します。
  • イベントインボックスは、データベースを使用してイベントソースとエージェントをデカップリングし、耐久性を確保してデータ損失を防ぎます。
  • タイマーにより、エージェントはフォローアップや反復タスクをスケジュールし、期限到来時にインボックスへイベントを注入できます。
  • メモリは、ユーザー設定、タスク進捗、会話履歴を含むファイルまたはオブジェクトとして外部に保存されます。
  • 権限は、クレデンシャルプロキシと自動モード分類器を通じて管理され、高リスクな操作に対しては遅延ツールコールが使用されます。
  • アウトボックスは最終結果をユーザーに配信し、推論プロセスのすべての中間ステップをストリーミングする必要を回避します。

なぜ重要なのか

AI製品を開発するソフトウェアエンジニアにとって、このアーキテクチャはステートレスなチャットインターフェースに inherent な信頼性の問題を解決します。イベントをデータベース内の永続的なレコードとして扱うことで、開発者はネットワーク障害やサーバー再起動によってユーザーのリクエストが失われることがないよう保証できます。タスクの見落としが深刻な結果を招き得るプロフェッショナルなツールにおいて、この信頼性は不可欠です。

メモリを即時のコンテキストウィンドウから分離することは、コストとパフォーマンスの問題にも対処します。エージェントがより長い会話や複雑なタスクに関わるにつれて、すべての履歴をプロンプト内に保持することは高額かつ低速になります。メモリを外部化することで、エージェントは個々のリクエストを肥大化させることなく長期的なコンテキストを維持でき、ヘビーユースに対してシステムのスケーラビリティを実現します。

さらに、権限モデルは自律的なアクションに対する必要な安全網を提供します。高リスクなツールコールを遅延させ、クレデンシャルにプロキシを使用することで、開発者は機密データを露出させたり、危険な操作を無制限に実行したりすることなく、ユーザーに代わって行動するエージェントを構築できます。この自律性と制御のバランスは、エンタープライズ採用にとって極めて重要です。

できること

  • リレーショナルデータベースを使用して、入力されるWebhookとスケジュールされたタスクをキューイングするための永続的なイベントインボックスを実装します。
  • 競合条件と重複作業を避けるため、一度に1つのインボックスのみを処理するバックグラウンドワーカーを設計します。
  • エージェントのメモリを外部ファイルまたはオブジェクトストレージに保存し、最初はコンテキストウィンドウにインデックスのみを読み込みます。
  • クレデンシャルプロキシを使用してAPIリクエストにシークレットを注入し、トークンをエージェントの直接環境外に保ちます。
  • タイマーテーブルをポーリングし、期限到来のイベントをメインインボックスに注入するスケジューラサービスを作成します。
  • 生の推論ステップをストリーミングする代わりに、要約された結果をユーザーに配信するためのアウトボックスメカニズムを構築します。
  • #ai agents
  • #system architecture
  • #webhooks
  • #backend engineering
  • #llm ops

Bytechapストアのツール

続きを読む

AIエージェント

TokenEconomizer、過去のセッションから学習しAIコーディングエージェントのコストを削減

Microsoft Researchとカリフォルニア大学バークレー校が、基盤モデルを変更することなくリポジトリの履歴を活用してAIコーディングエージェントのトークン使用量を削減するオープンソースプラグインを発表しました。

すべての記事