Multiverse Computing、4-bit 量子化モデル学習法 Quantization-Aware Healing を発表──16bit 元モデルの精度を 7 ベンチマークで上回る
構造圧縮と 4-bit 量子化を施したモデルに対し、圧縮前のオリジナル巨大教師モデルから直接 KL ダイバージェンス蒸留を行うことで、従来の 16bit チェックポイントを超える精度と高い学習安定性を実現した。
リリース: 2026-08-25 · 読了 4 分記事の要約
1. 核心（What）
- 構造圧縮と 4-bit 量子化を同時に適用した LLM の性能低下を回復させる新手法「Quantization-Aware Healing (QAH)」を提案した。
- リカバリ後の bfloat16 チェックポイントではなく、圧縮前のオリジナルフルサイズ・フルプレシジョン教師モデルの出力分布を直接蒸留する。
- GPT-OSS 120B を 60B に構造圧縮し MXFP4 に量子化モデルで、AA-LCR (+7.4) や AIME 2025 (+5.6) などで元モデル比の大幅な改善を確認した。
- 従来の Quantization-Aware Training (QAT) と比較して、ピーク到達後の性能劣化（過学習による崩壊）が発生せず安定した学習が可能。
2. 影響（Why）
- 大容量モデルの推論コスト圧縮が実用に: 4-bit 化と半減したパラメータ数により、従来なら大規模 GPU クラスタが必須だったモデルをより安価な単一ノード等で動かせるため、社内インフラのコスト最適化設計を大きく前進させる。
- 国内 LLM 開発におけるファインチューニング設計の再考: 商用 LLM のコスト削減に挑む国内の AI 関連スタートアップや受託開発企業は、QAT のような不安定な再学習プロセスの代わりに QAH ベースの蒸留パイプラインを検証する価値がある。
3. 根拠・詳細（How）
- オリジナル教師モデルからの直接 KL ダイバージェンス蒸留: 圧縮前のフルサイズ・フルプレシジョン教師モデルのロジット出力と、4-bit 量子化された小型学生モデルの出力分布を KL ダイバージェンス損失で直接マッチングさせ、失われた情報を補完する。
- 32k トークンを許容するメモリ効率の良い損失関数: シーケンス全体ではなくチャンク単位で KL を計算するメモリ効率の良い chunked KL-divergence 損失を実装し、長文脈コーパスの処理時でも GPU メモリ予算内に収まる設計とした。
- GPT-OSS 9B による QAT との比較検証: GPT-OSS 9B モデルを MXFP4 に量子化し、MMLU-Pro、LiveCodeBench、GPQA Diamond の平均性能を追跡。QAH は約 100 ステップでピークに達し、1,200 ステップ以降に 19 ポイント急落する QAT と異なり安定性を維持した。
4. 展望・課題（Next）
- 極端な長文脈ベンチマークへの適用拡大: 圧縮による容量制限で教師モデルとの差が依然として残る AA-LCR などの極端なロングコンテキスト領域において、さらなる構造的キャパシティ回復手法の検証が求められる。