LLM の動的情報獲得能力を検証する非公開情報下競技プログラミングベンチマーク InteractBench を公開

論文概要

大規模言語モデル (LLM) のアルゴリズム推論能力を評価する上で競技プログラミングの活用が進んでいるが、既存のベンチマークは全情報が事前に提供されるタスクに偏っていた。本論文では、事前に情報が隠された環境下で動的な情報獲得と状態追跡を必要とするインタラクティブ問題に着目し、新たなベンチマーク「InteractBench」を提案する。Codeforces、AtCoder、IOI、ICPC から厳選された 322 の高品質なインタラクティブ問題で構成されており、実行可能なローカルインテラクタを同梱することで完全なオフライン評価を実現している。

関連研究

これまでのコード生成およびアルゴリズム推論に関するベンチマークは、問題文の入力が静的に与えられ、一度のコード生成で答えを出力するフルインフォメーションタスクが主流であった。これに対し、本研究は複数ラウンドの対話的なクエリ発行と動的なプロトコル制約を伴うタスクを初めて体系的に評価対象とした点において、既存の静的評価手法を補完する重要かつ新しいアプローチと言える。

新規性と貢献

本研究の最大の貢献は、全情報が提示されないインタラクティブな競技プログラミングタスクに特化した評価基盤の確立にある。静的なコード生成能力だけでなく、限られたクエリ予算内での対話的プロトコル遵守能力や動的な状態追跡能力を定量化できる点が、学術的・実用的な観点における最大の新規性である。

提案手法の詳細

InteractBench は、ジャッジプログラム（インテラクタ）との厳格なプロトコル制約下でのマルチラウンド対話を必要とする問題を収集・パッケージングしている。モデルが生成したコードは、応答として返される動的な情報に基づきクエリを追加発行しつつ、状態を正確に管理しながら解を導出する必要がある。なぜこの設計にしたかといえば、実際のソフトウェア開発やエージェント環境において必要とされる「不明確な要件に対する動的な情報収集能力」を正確に測るためである。

評価・考察

評価の結果、最先端の推論モデルであってもインタラクティブ問題に対する成功率は限定的であり、静的タスクとの間に顕著な「インタラクションギャップ」が存在することが明らかになった。失敗要因の詳細な分析（ファイングレインな失敗分類）によれば、従来のアルゴリズム上のロジックエラーが依然として主流である一方で、プロトコル違反やクエリ予算の超過といったインタラクション固有の失敗も高頻度で発生している。

応用例と今後の展望

本研究の成果は、金融システムや医療現場など、動的な外部 API 呼び出しや多段階の対話的情報収集を伴う実務エージェントの設計・評価において極めて重要である。特に国内の金融機関やテック企業で自動取引システムや複雑な業務ワークフローを構築する際、プロトコル違反やクエリ超過を防ぐ強固なガードレール実装の必要性を示唆している。

結論

本論文は、非公開情報とインタラクティブな制約を含む競技プログラミングベンチマーク InteractBench を提案し、現行の最先端 LLM が持つ動的情報獲得およびプロトコル遵守能力の限界を明確に示した。

注釈

• インタラクティブ問題: 実行中にジャッジプログラムと複数回の対話を行い、新しい情報を取得しながら解法を進める競技プログラミングの特殊なジャンル。
• インテラクタ: プレイヤー（モデルが生成したコード）のクエリを受け取り、正誤や動的な次の情報を返すジャッジ側のプログラム。