LLM の Chain-of-Thought の限界を解明──シリアル深度に依存する計算ボトルネックと +64pt 改善の境界

論文概要

LLM における Chain-of-Thought（CoT）プロンプティングは、あらゆる推論タスクを普遍的に改善すると広く仮定されてきた。しかし本研究では、Chen et al. (2024) の $H_{dp}$ バンド幅境界の概念的枠組みに基づき、トランスフォーマーの単一パス容量を超えるシリアル計算の外部化としての CoT の挙動を検証した。Qwen-2.5-7B/32B や Llama-3.1-8B といった 3 つの指示チューニング済みモデルを用い、5 つの標準 NLP ベンチマークで実測を行った結果、CoT は万能ではなく特定のシリアル深度（serial depth）のボトルネックを迂回するバンド幅バイパスとして機能することが示された。

関連研究

従来の研究では、CoT が推論性能を全般的に向上させるという現象論的な報告が主流であった。これに対し本研究は、トランスフォーマーのシリアル計算能力の限界（単一フォワードパスの容量）に着目し、タスクのシリアル深度と CoT の有効性の関係を体系的に理論・実験の両面から解析している点が先行研究と大きく異なる。

新規性と貢献

本研究の主要な貢献は、シリアル深度と CoT の効果の間に明確な相関関係（クロスベンチマークでの深さ回復相関：Spearman $\rho = 0.661$, $p = 0.007$, $n = 15$）が存在することを実証した点である。単一パス（No-CoT）の精度はアイテムごとのシリアル深度に対して単調に劣化する一方、CoT はほぼ深さ不変であることを明らかにした。これにより、どのタスクで CoT が不可欠であり、どのタスクで冗談または逆効果になるかの境界線を明確化した。

提案手法の詳細

提案手法そのものを新しく学習させるのではなく、タスクごとのシリアル深度の勾配を定義して各モデルの推論プロセスを評価するフレームワークを採用している。高深度な P-complete タスク（GSM8K、MATH）では単一パスのキャパシティが不足するため、外部化されたステップを踏むことで計算容量の制約をバイパスする設計となっている。

評価・考察

評価では、高深度な P-complete タスクである GSM8K や MATH において、すべてのモデルで +54 から +68 pp の明確なリカバリーギャップが観察された。一方、浅い $TC^0$ タスク（MMLU、ARC）では CoT は構造的に冗長であり、変化量は $0.0$ から $+4.6$ pp と有意な差は示されなかった。また、中間クラス L（HumanEval）ではモデルサイズ依存の遷移が見られ、32B モデルで $+23.2$ pp、8B モデルで $+9.1$ pp と改善する一方で、7B モデルでは $-28.7$ pp と逆に精度が低下する現象が確認された。

応用例と今後の展望

本研究の成果は、金融の自動監査システムや医療文書の複雑な論理検証など、高深度な推論が要求される商用アプリケーションにおいて、不要な CoT によるレイテンシ増大を防ぎつつ必要箇所のみに適用する選択的プロンプティング設計への実務インパクトを持つ。特に小規模パラメータモデル（7B クラス）における複雑なコード生成（HumanEval 等）への無条件な CoT 適用が逆効果になり得る点に注意が必要である。

結論

本研究は、Chain-of-Thought がすべてのタスクで有効な万能薬ではなく、トランスフォーマーの単一パス容量の限界を補うバンド幅バイパスであることを実証した。タスクのシリアル深度とモデルサイズに応じた適切な推論パスの選択が重要である。

注釈

• Chain-of-Thought (CoT): LLM が答えに至るまでの思考プロセスを段階的な文章として出力させるプロンプティング手法。
• P-complete: 多項式時間で解ける問題のうち、並列化が困難で逐次的な計算を必要とする難度の高いクラス。