Liquid AI、LFM2.5 モデルの量子化蒸留モデル LFM2.5 Q4_0 を公開──BF16 精度ロスを 97% 回復
Quantization-Aware Distillation を用いて量子化精度ロスを 97% 回復し、Q4_0 の低メモリ・高スループットを維持した 4 モデルを公開した。
リリース: 2026-08-19 · 読了 3 分記事の要約
1. 核心（What）
- Liquid AI は Quantization-Aware Distillation を適用した LFM2.5 Q4_0 の 4 モデルを Hugging Face で公開した。
- 対象モデルは LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、および LFM2.5-2.6B である。
- GPQA Diamond や MMLU-Pro、IFEval などのベンチマークスイートで評価を実施し、BF16 基準の性能の約 97% を保持している。
- MacBook Pro、NucBox、Samsung Galaxy S26 Ultra、Raspberry Pi 5 の 4 環境でデコードスループットを計測している。
2. 影響（Why）
- 量子化精度のトレードオフ解消: 従来の事後量子化（PTQ）で生じていた精度低下を学習時蒸留で極小化するため、低メモリと高精度を両立した軽量モデル設計が容易になる。
- エッジ推論への即時統合: 既存の GGUF アーキテクチャと互換性を持つため、追加の専用ランタイム開発なしでモバイル・IoT 機器への組み込みが可能になる。
3. 根拠・詳細（How）
- Quantization-Aware Distillation の適用: 高精度なティーチャーモデルの出力を量子化済みス学生モデルに蒸留する学習レシピを採用し、GPQA Diamond や MMLU-Pro などの 5 回平均評価で BF16 性能の 96.5%〜97.4% を保持した。
- ハードウェア別ベンチマーク検証: MacBook Pro や NucBox EVO-X2 の GPU 推論、Samsung Galaxy S26 Ultra や Raspberry Pi 5 の Arm CPU 推論環境でデコードスループットを実測し、230M/350M モデルで Q5_K_M 同等品質と 4-33% のスループット向上を確認した。
4. 展望・課題（Next）
- ランタイム互換性の検証: llama.cpp 以外の各種 GGUF 対応ランタイムやカスタム推論サーバーにおける動作安定性の検証が進められる。