ISTA-DASLab、Qwen3.8-27B 用非一様量子化 GGUF モデル群を公開──GSU と RCO により 4.6 倍の圧縮率と AIME25 100.00 を両立
各重みテンソルに異なる量子化タイプを勾配ベース探索で割り当てる GSQ と RCO 手法により、IQ3_S モデルはベースモデル同等のタスク性能を維持しつつ 11.8GB へ圧縮された。
リリース: 2026-04-20 · 読了 4 分記事の要約
1. 核心（What）
- ISTA-DASLab が Qwen3.8-27B の非一様 GGUF 量子化モデル群（4サイズ）およびマルチモーダル用ビジョンプロジェクター（mmproj）を公開した。
- IQ3_S モデル（3.50 bpw）は、AIME25 で 100.00、LiveCodeBench v6 で 85.71 を記録し、BF16 ベースモデルと完全一致のタスク性能を維持しながら容量を 11.8GB（4.6倍圧縮）に抑えた。
- 各量子化モデルには、llama.cpp での speculative decoding 用 Multi-Token Prediction ヘッドを搭載した -mtp ビルド（約 0.35GB 増）も用意されている。
- リポジトリの月間ダウンロード数は 297,493 件を記録している。
2. 影響（Why）
- ローカル推論のメモリ効率と精度トレードオフの打破: 単一 GPU（24GB VRAM）環境で大規模モデルを動かす際、一様量子化で劣化していた推論・コード生成能力を保ったまま 4.6 倍の圧縮を達成できるため、社内ローカル LLM のハードウェアコストを大幅に引き下げられる。
- 国内エッジ・オンプレミス開発への影響: プライバシー要件からクラウド API を利用できない国内の医療・金融系システム開発チーム（[オンプレミス AI 導入企業] 規模）にとって、llama.cpp や Ollama でそのまま動く高精度な軽量モデルの選択肢が増える。
3. 根拠・詳細（How）
- GSQ と RCO による非一様テンソル割り当て: テンソルごとの感度に応じ、Gumbel-Softmax Sampling を用いたスカラー量子化（GSQ）と Riemannian Manifold を用いた容量制約付き探索（RCO）を組み合わせて非一様な GGUF を生成している。
- ベンチマーク検証環境: wikitext2、C4、FineWeb-Edu のパープレキシティおよび AIME25、GPQA-Diamond、LiveCodeBench v6 の 3 つの推論・生成ベンチマークで BF16 ベースモデルおよび Unsloth Dynamic 量子化と比較検証されている。
4. 展望・課題（Next）
- マルチモーダル対応とエコシステム連携: BF16 の mmproj ファイルが全量子化モデルで共通利用可能となっており、llama.cpp や Ollama、LM Studio でのマルチモーダル推論ワークフローへの統合が進められている。