強モデルが弱モデルへ推論時に能力を転写するフレームワーク──Theory-of-Mind ベンチマークで平均精度を 0.49 から 0.91 へ倍増

論文概要

大規模モデル（Strong Model）の能力を小規模モデル（Weak Model）へ移行する手法として、従来の学習時（Training-Time）における蒸留や教師強制（Teacher Forcing）に代わり、テスト時（Test-Time）に推論用ハーネス（枠組み）を動的に構築する新しい強弱スキャフォールディング手法が提案された。本研究ではパラメータの更新を一切行わず、強力なビルダーモデルがターゲットモデルの推論を補助するコードやルーティング、出力フォーマットの厳格化を生成する。4つの代表的な Theory-of-Mind ベンチマークを用いた実験において、ターゲットモデルの平均精度を 0.49 から 0.91 へほぼ倍増させることに成功している。

関連研究

従来、モデル間の能力移転は教師データの生成や、ターゲットモデルのパラメータを再学習させるオンポリシー蒸留などの訓練時手法が主流であった。これらは計算コストや学習パイプラインの複雑さを伴う課題があった。本研究は、事前学習済みのモデルパラメータを固定したまま、推論時（Test-Time）のアプローチによって同様あるいはそれ以上の能力移転が可能かという問いに直接取り組むものであり、静的な蒸留手法とは異なるパラダイムを提供する。

新規性と貢献

本研究の最大の新規性は、パラメータの重みを変更せず、推論時の「ハーネス（Harness）」の動的構築のみによって強から弱への能力移転（Strong-to-Weak Capability Transfer）を実現した点にある。ビルダーモデルが全データの 5% を検証セットとして用いて複数ラウンドにわたり反復的にハーネスを洗練させることで、構造的な認知支援を弱モデルに提供する。学術的・実用的な貢献として、モデルの再学習という重いコストを回避しつつ、推論インフラ側からのアプローチでモデル性能を底上げできることを示した。

提案手法の詳細

提案手法の核心は、モデル自体のパラメータをいじらず、不安定な推論プロセスを決定論的なコード、ベンチマーク固有のルーティング、厳格な回答フォーマットの強制へとオフロードすることにある。ビルダーモデルはターゲットモデルの特性を考慮しつつ、タスクを確実に解くためのテスト時ハーネスを組み立てる。これにより、ターゲットモデルに過度な長文思考や広範なサンプリングを強いることなく、信頼性の高い推論結果を引き出す設計となっている。

評価・考察

4つの Theory-of-Mind ベンチマークを用いた評価では、ベースラインでの平均精度 0.49 が、本手法の適用により 0.91 へと大幅に向上した。分析の結果、性能向上の主たる要因は、モデル自体の推論拡張ではなく、決定論的オフローディングによる認知負荷の軽減にあることが判明している。さらに、ビルダーモデルの推論努力がハーネスの品質を単調に向上させることや、より性能の低い（弱い）ターゲットモデルほど大きな恩恵を受けることが確認された。

応用例と今後の展望

本手法は、APIコストやレイテンシの制約から大規模モデルを常時デプロイできない現場において極めて有効である。特に、金融や医療といった高精度なフォーマット遵守と論理的正確性が求められるドメインにおいて、軽量なカスタム LLM（数B〜数十B規模）の出力をテスト時ハーネスによって強モデル並みに引き上げる実務インパクトが期待される。今後は、多様なタスクに対するビルダーモデルの最適化コストの削減や、リアルタイム推論時への適応が主な課題となる。

結論

本論文は、テスト時の推論ハーネス設計が従来の学習時蒸留の重要な補完手法になり得ることを実証した。パラメータを一切更新せずに、強モデルの認知構造を弱モデルへ転写できる本アプローチは、今後の LLM デプロイメント戦略に大きな影響を与える。

注釈

• Theory-of-Mind: 他者の意図や信念、感情を推測する社会的認知能力のこと。AIの高度な推論能力を測定するベンチマークとして頻繁に用いられる。
• テスト時ハーネス: モデルの入出力を包み込み、プロンプトの調整やコード実行、フォーマット制約などを動的に制御する推論時の補助機構。