Epoch AI、推論学習評価ベンチマーク EBR-bench の人間ベースラインを公開──GPT-5.5 や Claude Opus 4.8 などフロンティアモデルの学習能力に限界を示す
ボードゲーム Earthborne Rangers を用いた検証で、人間が試行錯誤を通じて急速に上達する一方、現行のフロンティアモデル群は数十回のプレイでもスコアがほとんど向上しないことが判明した。
リリース: 2026-08-28 · 読了 4 分記事の要約
1. 核心（What）
- Epoch AI は、未知の複雑なタスクを反復によって学習できるかを測定する EBR-bench の人間ベースライン結果を公開した。
- 評価にはキャンペーン型ボードゲーム Earthborne Rangers が使用され、15 名の人間プレイヤー（最終解析は 13 名）が時給 30 ドル・最大 60 時間の条件でテストに参加した。
- モデルには 10 回の試行機会が与えられ、最後の 2 回のスコアのうち高い方が記録されるほか、外部ノートの維持が許可された。
- 専門家の戦略ガイドをエージェントに直接渡す追加テストでも、スコアの向上は 21 項目中 2 〜 3.5 項目増に留まった。
2. 影響（Why）
- 「数打てば当たる」設計の限界: エージェントに「何度でも再試行させる」アプローチだけでは、タスク適応や経験からの学習能力の欠如をカバーできないことが示され、自律エージェントの設計思想の見直しが迫られる。
- 国内エージェント開発への影響: 社内業務や垂直統合型 SaaS で複雑な試行錯誤を伴う自動化ワークフローを構築する国内開発組織（例: 自律型エージェント検証チーム）は、推論時の動的学習に期待するのではなく、ターゲットタスクに特化したファインチューニングや構造化された外部スクリプトの併用を前提に設計を組む必要がある。
3. 根拠・詳細（How）
- リクエスト仕様と評価ハーネス: ReAct エージェント・ハーネスを採用し、カード検索ユーティリティ、マップ画像、テキストパスファインディングツール、およびノートディレクトリを小さなツールセットとして提供。コンテキスト圧縮閾値は 250,000 トークンと最大コンテキストの約 90% の 2 パターンで検証された。
- リソース管理と疲労度メトリクス: ゲーム内のダメージシステムである fatigue（疲労度）を指標として用い、完全ランダムプレイが 1 ラウンドあたり 3.5 の疲労度を記録するのに対し、フロンティアモデルは平均 2.1、専門家人間は 0.6 に抑えることで実効的なリソース管理能力の差を定量化した。
4. 展望・課題（Next）
- トレーニング分布の制約: 外部ノートやアドホックなコード実行、Claude Code などのスキャフォールドの追加では学習の壁を突破できず、重みの更新を伴う集中トレーニングの必要性が示唆されている。