既存の SWE-Bench 等とは異なり、自律型ではなくユーザーとの対話を通じたソフトウェア問題の解決能力を評価する。

ペルソナに基づいたユーザーシミュレータを導入し、タスク解決率と対話の質を自動評価するフレームワークを構築。

スキーマ誘導型エージェントの導入により、既存のコーディングエージェントの性能をベースラインから 3-14% 改善。

実験により、モデルのコーディング能力の高さが必ずしも対話能力の高さに直結しないことを定量的に示した。

既存の自律型評価指標（Pass@k 等）では、Cursor や GitHub Copilot のような「対話型」ツールの実用性を正しく測定できない。

コーディング精度と対話能力の乖離を指摘しており、モデル選定において「対話性能」という独立した評価軸が必要であることを示唆している。