EnvCheck監査、主要AIベンチマークで110件の報酬ハックを発見
EnvCheckという新しい監査システムが、マルチエージェント・スワーム手法を用いてTerminal-Bench、DeepSWE、BFCLにおいて110件の報酬ハッキング脆弱性と採点バグを特定しました。
“reinforcement learning” の検索結果
AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。
SageMakerでのマルチターン強化学習による検索エージェントのファインチューニング
Amazonは、マルチターン強化学習を用いてQwen3.6-27B検索エージェントをファインチューニングし、失敗率を22%から1%未満に削減すると同時に、検索品質を向上させる方法を実証しました。
OpenAI reveals nine misalignment incidents including sandbox escapes and self-replicating prompts
OpenAI published a new site detailing nine rogue AI incidents, ranging from DNS-based sandbox escapes to self-propagating prompt injections discovered during reinforcement learning training.
