Prism ML、ローカルモデルランナー Ternary-Bonsai-2-27B-gguf を公開──27B 推論モデルを 5.9GB に圧縮
27B クラスの推論モデルをフル 3 重み量子化で 5.9GB に圧縮し、Apple M5 Max で約 47 tok/s のローカル実行を実現した。
リリース: 2026-09-17 · 読了 3 分記事の要約
1. 核心（What）
- Prism ML は、27B パラメータの推論モデルを 3 重み量子化（ternary weights）で軽量化した GGUF フォーマット「Ternary-Bonsai-2-27B-gguf」を公開した。
- 重みは真の 1.72 ビット/ウェイトに圧縮され、埋め込みやアテンションプロジェクトを含むエンドツーエンドで 3 重み化されている。
- パッケージとして、密にパックする PTQ1_0 (5.95GB) と 2 ビットスロットに格納する PQ2_0 (7.21GB) の 2 種類が用意されている。
- 専用の llama.cpp フォーク（CUDA/Metal 対応）および MLX フォーク（Apple Silicon 対応）を利用して推論を実行する。
2. 影響（Why）
- 超低ビット域での推論能力崩壊を回避: 従来の 2 ビット級量子化では複雑なコード生成や数学的推論のスコアが著しく低下していたが、本手法は FP16 性能の 98.2% を保持し実用的な精度を維持している。
- ハードウェア制約下でのローカル運用拡大: 5.9GB という軽量なフットプリントにより、通常のラップトップや単一の低価格 GPU 上で 27B モデルの高速なデコードと長文脈処理が同時に成立する。
3. 根拠・詳細（How）
- アダマール回転による誤差抑制: 各行列をブロック単位で直交アダマール回転で変換してから 3 重みを割り当て、ランタイム側で対応する変換をアクティベーションに適用することで情報損失を最小化している。
- 専用カーネルによるマルチバックエンド最適化: ストック版 llama.cpp では動作せず、PrismML-Eng のフォーク版バイナリを使用し、Ada 世代や L4 では PTQ1_0、H100 や Blackwell では PQ2_0 が最適となるよう設計されている。
4. 展望・課題（Next）
- ランタイム統合とエコシステムの拡張: 公式フォークに依存する現行の制約に対し、今後の主流ランタイムへの標準統合やさらなる量子化手法の横展開が期待される。