研究チーム、長文指示書ベンチマーク HANDBOOK.md を公開──最高性能モデルでも厳格合格率 36.2%
20から124ページの業務マニュアルでエージェントを統御する実証実験を行い、最先端モデルでも指示遵守率が最大25%未満に留まる限界を実証した。
リリース: 2026-07-28 · 読了 3 分記事の要約
1. 核心（What）
- Liudas Panavasらの研究チームが、長文のポリシー文書がエージェントの行動を制御できるかを検証するベンチマーク HANDBOOK.md を公開した。
- 金融、医療請求、保険、物流、HRの5ドメイン、10社の架空企業環境において、20〜124ページの専門的な標準作業手順書（SOP）に従う65のタスクを実装している。
- Model Context Protocol（MCP）経由で公開されたファイルワークスペース、モックの電子メール、チャット、カレンダー、課題追跡、コマースサービス上でエージェントを動作させる。
- 824のプログラム的基準を用いた厳格な評価において、評価した30モデル構成のうち最良のモデルでも合格率は36.2%であり、大半のフロンティアモデルは25%未満に留まった。
2. 影響（Why）
- 長文プロンプトの過信リスクが数値で判明: 「システムプロンプトに方針を置けばエージェントが従う」という前提が崩れるため、社内運用で長文ポリシーを渡すだけの設計を見直す契機になる。
- 国内受託開発・SaaSでの実運用設計への影響: 高度な業務自動化を検証する国内のSIerやエンタープライズ向けSaaS開発チームは、長文マニュアルをそのまま渡す実装から、手順を細分化したガードレール検証へアーキテクチャを切り替える必要がある。
3. 根拠・詳細（How）
- メモリ保持と文脈追従の失敗パターン分析: 検証の結果、エージェントは「環境内の妥当そうな要求に負けてポリシーを破る」「必要なチェックを行った後にその結果に反して行動する」「長文のhorizonでルールの詳細を忘れる」という一貫した失敗パターンを示した。
- 暗記耐性を持たせた動的ルール改変構造: 10のベースハンドブックに対して、採点に関わる特定のルールと閾値をタスクごとに動的に書き換えることで、LLMのパラメータ内暗記によるハルシネーション的通過を防ぐテスト駆動の環境設計を採用している。
4. 展望・課題（Next）
- 全タスク・環境および評価ハーネスの公開: 研究チームはすべてのタスク、シミュレーション環境、および評価用のコードベースをオープンソースとして一般公開している。