3B 未満の SLM における不確実性推定の限界と意味論的エントロピーによる精度改善

論文概要

本論文では、30億パラメータ未満の Small Language Model (SLM) において、エントロピーベースの信頼度信号がモデルの回答正誤をどの程度判別できるかを検証している。トークン単位のエントロピーは 91% のデータセットとモデルの組み合わせでほぼゼロとなり信頼度信号として機能しない一方、複数サンプリングから意味のクラスタリングを行う意味論的エントロピー（Semantic Entropy）を用いることで有効な不確実性シグナルが得られることを示した。さらに、不確実なクエリをより大きなエキスパートモデルへ選択的にルーティングすることで、最大 +50 パーセントポイントの精度改善を達成している。

関連研究

従来の大規模言語モデル（LLM）の分野では、トークン単位のエントロピーやロジットを用いた信頼度推定、および計算コスト削減のための動的ルーティング手法が数多く提案されてきた。しかし、コンシューマーハードウェア上で動作する 3B 未満の SLM を対象に、エントロピー信号の有効性を系統的に比較・検証した先行研究は限られていた。本研究は、既存のエントロピーベース手法が SLM スケールでそのまま適用できるかを 7 つの手法と 5 つの NLU ベンチマークを用いて検証した点に新規性がある。

新規性と貢献

最大の貢献は、SLM において「トークン単位のエントロピーが事実上機能しない（blind）」という制約を大規模な実験で定量的に示したことである。回答の正誤に関わらず平均トークンエントロピーがゼロ近傍になる現象を明らかにし、従来の手法が SLM では通用しないことを証明した。また、意味論的エントロピーを用いることで信頼度信号を回復させ、クロスファミリールーティング（例: SmolLM 360M から Phi-3.5-mini への転送）において同族ルーティング（+6.8%）を大きく上回る平均 +22.0% の精度改善を実現した点も重要な学術的・実用的貢献である。

提案手法の詳細

本研究では、トークンレベルのエントロピー早期停止や意味論的エントロピー推定、不確実性に応じた大規模モデルへのルーティングなど 7 つのアプローチを評価している。 トークン単位の信号が機能しない原因に対処するため、複数サンプリングを実行し、回答の意味ごとにクラスタリングを行って分布の不確実性を測定する意味論的エントロピーを採用した。 これにより、SLM 単体では判断がつきにくい難問を検出し、高精度なエキスパートモデルへ効率的に処理を委譲する設計となっている。

評価・考察

評価は 7 つのモデルペアと 5 つの標準的な NLU ベンチマークを用いて実施された。実験の結果、トークンレベルのエントロピーは 91% のデータセット・モデルの組み合わせで無効であることが判明した。一方で、意味論的エントロピーに基づく選択的ルーティングを導入した実験では、最大で +50 パーセントポイントの精度改善が確認された。また、アーキテクチャの類似性よりもエキスパートモデル自体の品質がルーティング性能に大きく影響するという知見が得られている。

応用例と今後の展望

本手法は、エッジデバイスやコンシューマー向けハードウェア（PC やモバイル端末）上で動作する SLM アプリケーションにおいて、計算資源を賢く配分（Intelligent Compute Allocation）する基盤技術として応用できる。日本の組み込み AI 分野やオンデバイス LLM を活用するソフトウェア開発企業において、限られたハードウェア制約の中で高精度な応答を実現するための重要な実装指針となる。今後は、さらなる推論レイテンシの削減や、多様なドメイン特化型 SLM におけるルーティング戦略の最適化が課題となる。

結論

本研究は、SLM におけるエントロピーベースの信頼度信号の限界を明らかにするとともに、意味論的エントロピーと選択的ルーティングの組み合わせによって、計算コストを抑えながら大幅な精度改善が可能であることを実証した。

注釈

• Small Language Model (SLM): 一般に数億から数10億パラメータ程度の比較的小規模な言語モデル。
• 意味論的エントロピー (Semantic Entropy): 複数回出力された回答の意味的なバラツキを数値化し、モデルの不確実性を評価する手法。