Vals AI、推論・視覚制御評価ベンチマーク CUA-Bench を公開──全フロンティアエージェントが 20 点未満に
Minecraft や SUPERHOT など 6 商用ゲームを用いた実時間 CUA ベンチマークで、現行フロンティアモデルの連続制御能力と適応速度の限界を定量化した。
リリース: 2026-09-18 · 読了 3 分記事の要約
1. 核心（What）
- Vals AI が公開した CUA-Bench は、Minecraft や SUPERHOT を含む 6 つの商用ゲームを画面・キーボード・マウス操作のみで評価するベンチマーク
- Minecraft、SUPERHOT、eFootball の 3 公開タイトルと、同ジャンルの非公開 3 タイトルの計 6 タイトル・各 3 時間の試行で構成
- 全フロンティアモデルの平均スコアは 20 点未満に留まり、最高記録は GPT-6 Astra の公開平均 26.7 点 / 非公開平均 11.7 点
- モデルの意思決定サイクルは 15 から 59 秒（中央値 34 秒）であり、人間（毎秒複数回）に対して圧倒的な応答遅延を記録
2. 影響（Why）
- 実時間閉ループ制御のボトルネックが露呈: API や内部状態への直接アクセスを断ち、純粋な視覚入力とデスクトップ操作のみで数時間タスクを回す構成は、業務自動化ツールやロボティクス領域の検証において現行 LLM のリアルタイム追従性の限界を明確にした。
- 国内ロボティクス・高度自律エージェント開発への影響: [国内FA・ロボット制御関連の受託開発企業] のような中規模インテグレーターは、単発の画面操作デモだけでなく、動的環境での遅延許容値や同一セッション内の適応力を前提としたアーキテクチャ再設計が必要になる。
3. 根拠・詳細（How）
- サンドボックス環境と MCP による分離制御: 各モデルはベンダー提供のコマンドラインエージェント（Codex、Claude Code、Gemini CUA）経由で個別 CPU サンドボックス上で動作し、Model Context Protocol (MCP) を通じて GPU デスクトップを制御した。
- マルチフレーム検証による採点設計: オフラインゲーム 4 タイトルはネイティブステート / セーブファイルから採点し、オンラインスポーツ 2 タイトルは 2 Hz サンプリングのビデオから取得した 3 つの異なるソースフレームで候補結果を突き合わせ確認した。
4. 展望・課題（Next）
- 複数回試行による分散評価とコンタミネーション検証: モデル・ゲームの組み合わせごとに 1 回の試行に限定されているため、今後の更新では複数回試行による分散の推定と、非公開ゲームを用いた真の転移学習性能の厳密な切り分けが求められる。