Prism ML、量子化モデル推論サーバー Ternary-Bonsai-27B-gguf を公開──27B モデルの FP16 比 9.4 分の 1 軽量化を実現
27B クラスの推論モデルを三値重み（ternary weights）で 7.2 GB に圧縮し、Apple M5 Pro 上で 26 tok/s のインタラクティブ動作を達成した。
リリース: 2026-07-15 · 読了 3 分記事の要約
1. 核心（What）
- Prism ML は、27B パラメータの推論モデルを三値重み（-1, 0, +1）で量子化した GGUF 形式モデル Ternary-Bonsai-27B-gguf を公開した。
- 重みあたりの実効ストレージコストは 1.71 ビットで、エンベッドからアテンション、MLP、LM ヘッドまでエンドツーエンドで三値化されている。
- llama.cpp 用のカスタム 2 ビットハイブリッドアテンションカーネル（CUDA および Metal 対応）が付属している。
- DSpark 推測デコードドラレーター層を備え、CUDA 環境で 1.34 倍のデコード高速化を実現する。
2. 影響（Why）
- 超低ビット領域での性能崩壊の回避: 従来の 2 ビット量子化ではコード生成やエージェントタスクで精度が急激に低下していたが、三値化により FP16 性能の 95% を保持しつつ極限までの軽量化に成功した。
- ハードウェア要件の大幅な引き下げ: 約 7.2 GB のフットプリントにより、高額な専用サーバーを用意することなく、一般的なラップトップや単一 GPU でフル 27B 推論を実用的な速度で実行可能になる。
3. 根拠・詳細（How）
- G2_0_g128 フォーマットとハイブリッドアテンション: 128 重みグループごとに 1 つの共有 FP16 スケールファクターを持ち、約 75% が線形アテンションで構成される Qwen3.6-27B バックボーンを採用している。
- DSpark ドラレーターによる推測デコード: 6 層のブロックパラレル変圧器によるドラレーター層を搭載し、ターゲット分布を完全に保存したまま CUDA パスで 1.34 倍の高速化を発揮する。
4. 展望・課題（Next）
- Apple Silicon でのドラレーター最適化: 現状のバッチサイズ 1 における検証パスのオーバーヘッドを削減し、Mac などの Apple Silicon 環境での推測デコード対応を進める予定である。