MoEのルーティングはハフマン符号か──Chain-of-ThoughtにおけるFrequency-Diversity Lawの発見

論文概要

Mixture-of-Experts (MoE) アーキテクチャにおける専門家（Expert）のルーティング機構を、情報理論の観点から再解釈した研究である。本論文は、MoEのルーティングが単なる選択処理ではなく、ハフマン符号（Huffman Coding）と同様の圧縮原理に基づいていることを明らかにした。Phi-3.5-MoEやGemma-4-27B-A4Bを解析し、高頻度トークンには少数の専門家を、複雑な推論（Chain-of-Thought）には多様な専門家を割り当てる「Frequency-Diversity Law」を提唱している。

関連研究

従来のMoE研究では、ルーティングは主に「負荷分散（Load-balancing）」の最適化問題として扱われてきた。しかし、その内部動作はブラックボックス化しており、なぜ特定の専門家が特定の入力に対して選択されるかの理論的裏付けは不足していた。本研究は、既存のヒューリスティックな負荷分散手法に対し、情報理論的な最適化の視点を導入する点で一線を画す。

新規性と貢献

本研究の最大の貢献は、MoEのルーティングを「情報圧縮エンジン」として定義し直した点にある。Qwen3.5-35B-A3B等のモデルにおいて、過度な負荷分散が逆に機能的な冗長性を生んでいることを指摘し、これを解決する「Subset Difference Pruning」を提案した。

提案手法の詳細

本研究が提案する「Subset Difference Pruning」は、モデル内の機能的な重複を外科的に削除する手法である。既存のMoEにおいて、実効スパース性が一定の閾値を下回ると、負荷分散の制約がモデルの本来の効率的なルーティング信号を阻害する「冗長性の罠」が発生する。この手法は、冗長な専門家の組み合わせを剪定することで、モデルの論理パスをより高密度かつ効率的なものへと収束させる。

評価・考察

実験の結果、Subset Difference Pruningを適用しても推論能力の劣化は見られず、むしろモデルの潜在的なハフマン効率が引き出されることが確認された。Qwen3.5-35B-A3Bを用いた解析では、剪定前後でHuffman散布図におけるパスの最適化が視覚的にも明らかになった。

応用例と今後の展望

本研究は、次世代のMoE設計において「強制的な負荷分散」から「最小記述長（MDL）の最適化」への転換を促すものである。日本のエンジニアや研究者にとっては、特に推論コストが課題となる商用LLMのデプロイメントにおいて、モデルの軽量化と推論効率の向上を両立させるための重要な知見となる。数千億パラメータ規模のモデルを運用する国内のAIスタートアップや研究機関において、ルーティングの最適化を通じたコスト削減に直結する可能性がある。

結論

MoEのルーティングは、情報理論的なハフマン符号として理解すべきであり、今後は負荷分散のヒューリスティックから脱却し、情報圧縮の最適化を目指すべきである。

注釈

• MoE (Mixture-of-Experts): 入力に応じてモデル内の特定の専門家ネットワークのみを活性化させる手法。
• Huffman Coding: 出現頻度が高い情報には短い符号を、低い情報には長い符号を割り当てることでデータ量を最小化する情報圧縮アルゴリズム。
• Chain-of-Thought (CoT): モデルに段階的な推論過程を出力させる手法。