LLMのドメイン横断推論を評価するRelay-Bench公開──GPT-5.5 (xHigh) のスコアは43.3%

論文概要

Relay-Benchは、LLMが単一のプロンプト内で複数のドメインにまたがる推論を実行する能力を測定するための、テキストベースの包括的ベンチマークである。本ベンチマークは、2から13のサブ問題を連結した複合的な課題で構成されており、視覚的推論、コーディング、数学、情報抽出（Web検索含む）、データ分析など多岐にわたるドメインを横断する。評価の結果、現時点で最高性能を示すGPT-5.5 (xHigh) のスコアは43.3%に留まり、モデルの推論能力に依然として大きな余地があることを示している。

関連研究

既存のベンチマークの多くは単一ドメインまたは特定のタスクに特化しているが、Relay-Benchはそれらを連結し、さらにプロンプトの符号化や文脈の肥大化（context bloat）を導入することで複雑性を高めている点が異なる。モデルに対しては、コード実行やWeb検索などのツール利用を明示的に推奨しており、実環境に近い複雑な問題解決能力を評価対象としている。

新規性と貢献

Relay-Benchの最大の貢献は、単一のタスクを解く能力ではなく、複数のドメインを跨いで情報を統合・処理する「推論の連鎖」を評価する点にある。また、モデルのハルシネーションを誘発しやすい環境を意図的に作成しており、実用的なAIシステムの信頼性評価における新たな基準を提示している。

提案手法の詳細

本ベンチマークは、以下の設計思想に基づいている。

• 複合問題の構成: 複数のサブ問題を連結することで、中間的な推論ステップの正確性を問う。
• ツール利用の許容: 実際の開発環境を想定し、Web検索やコード実行を制限しない。
• 複雑性の付加: プロンプトの符号化や無関係な文脈の挿入により、モデルの注意機構（Attention）が正しく機能するかを検証する。

評価・考察

実験では、GPT-5.5 (xHigh) を含む主要なモデルが評価された。最高スコアが43.3%である事実は、現在の最先端モデルであっても、ドメイン横断的な長鎖推論において半数以上の問題で失敗することを示唆している。特に、複雑な依存関係を持つ問題や、ノイズを含む文脈での推論において性能の低下が顕著である。

応用例と今後の展望

本ベンチマークは、自動エージェントの開発や、複雑なビジネスプロセスを自動化するAIシステムの品質保証に直結する。特に、日本の製造業や金融業における「複数の社内ドキュメントを横断して分析し、コードを実行してレポートを作成する」といった自動化パイプラインの設計において、モデルの選択基準として活用できる。今後の課題として、より動的な環境下での評価や、マルチモーダル入力への拡張が挙げられる。

結論

Relay-Benchは、LLMの推論能力を測定する新たな指標として、複合的かつ実用的な課題を提示した。43.3%というスコアは、AIシステムが解決すべき課題の複雑性が依然として高いことを示しており、今後のモデル開発における重要なベンチマークとなる。

注釈

• Pass@1: 生成されたコードや回答が、一度の試行で正解基準を満たす確率。
• Context bloat: モデルのコンテキストウィンドウ内に、推論に不要な情報やノイズを意図的に含めることで、モデルの注意力を試す手法。