ハイブリッド型 27B LLM のリカレント層を NVFP4 W4A4 化する Gated DeltaNet の量子化耐性を解明

論文概要

ハイブリッド型 LLM は、ソフトマックス・アテンションと、Gated DeltaNet (GDN) などの線形アテンション層を組み合わせ、リカレント状態で文脈を固定サイズに要約する。先行研究のコミュニティによる Qwen3.8-27B（48 GDN 層、16 アテンション層）の 4 ビット量子化では、リカレントの誤差蓄積を懸念して GDN ブロック（特に減衰・書き込み強度ゲート）を 8 ビットや 16 ビットのまま維持していた。本論文では、すべての 496 線形層（GDN を含む）に NVFP4 W4A4 を適用した「Minima」を構築し、その直感を検証している。

関連研究

リカレント状態を持つハイブリッドアーキテクチャや線形アテンションの量子化は、誤差蓄積の懸念から高精度（FP8やBF16）での保持が一般的であった。本研究は、GDN を含む全線形層の 4 ビット化（NVFP4 W4A4）を行い、従来の実装方針に対する実証的な再検証を行っている。

新規性と貢献

主要な貢献は、従来「高精度で保護すべき」とされてきた GDN のゲートやリカレント層を含めて完全に 4 ビット（NVFP4 W4A4）化しても、シードノイズの範囲内（5タスク平均 -0.52）で BF16 と同等の性能を維持できることを示した点である。これにより、モデルサイズを 17.5 GiB に最小化し、プレフィル処理を 14〜19% 高速化する実用的なレシピ「Minima」が確立された。

提案手法の詳細

4 部構成のメカニズム調査により、以下の理由が明らかになった。 (i) NVFP4 の 16 要素ブロックのスケーリングが、残差ストリームの極端な外れ値を局所化し、レイヤー役割間の活性化誤差を均等化する。 (ii) 最も脆弱視されていたゲート射影は実際には最も感度が低く、ソフトplus／指数関数およびシグモイドのパラメータ化により、約 11% の GEMM 誤差が約 2% の出力誤差に圧縮される。 (iii) デルタ則リカレントは、各書き込みが現在のキー方向に沿って状態を上書きするため、注入されたノイズを 32K トークンにわたって平坦なプラトーに保ち、数百ステップ以内に状態インパルスを忘却する。 (iv) トークンごとの量子化コストは、コンテキストの進行に伴って複合せず相殺される。

評価・考察

4K/32K のパープレキシティ、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench、および 64K までの RULER 検索タスクにおいて、Minima は BF16 と同等の性能を維持していることが確認された。また、32K におけるパープレキシティのギャップは位置とともに縮小する。さらに、モジュールごとに較正された NVFP4 チェックポイントを、それらのモジュールを 1 つの GEMM に融合するカーネルでサービングする際に発生するグローバルスケールのミスマッチを修復し、較正された FP8 KV キャッシュスケールが性能に影響を与えないことを示した。

応用例と今後の展望

本研究の成果は、の大規模言語モデル（LLM）の推論・デプロイにおいて、メモリ使用量を大幅に削減しつつプレフィル速度を向上させる実務インパクトを持つ。特にクラウドインフラやオンプレミス環境でハイブリッド型 LLM を運用する開発現場やインフラストラクチャ分野において、全量子化（Quantize-everything）の標準レシピとして即座に応用可能である。今後は、さらなる超長文脈における量子化耐性のスケーリングや、多様なハイブリッドアーキテクチャへの適用拡大が課題となる。

結論

ハイブリッド型 LLM のリカレント部は、適切な量子化とメカニズムの理解により、4 ビット化（NVFP4 W4A4）の容易な領域であることが実証された。すべての線形層を量子化し、KV スケールを出荷するという実用的なレシピが提示されている。

注釈

• Gated DeltaNet (GDN): 線形アテンションの一種であり、リカレント状態で文脈を固定サイズに要約する機構。
• NVFP4 W4A4: 4ビットの重みと4ビットのアクティベーションを持つNVIDIAのフォーマットによる量子化表現。