PrismML、量子化モデル Ternary Bonsai 2 27B を公開──Qwen3.8 を 5.9 GB に圧縮し性能 98.2% を維持
Qwen3.8 27B を 1.76 bits/weight の 3 値量子化により 5.9 GB へ圧縮し、ローカル環境でのマルチモーダル・エージェント処理を実用化する。
リリース: 2026-09-17 · 読了 3 分記事の要約
1. 核心（What）
- PrismML は Qwen3.8 27B をベースにした 3 値量子化モデル Ternary Bonsai 2 27B を公開した
- モデルの重みは各パラメータを -1, 0, +1 の 3 値で表現し、1.76 bits per weight で総容量 5.9 GB に圧縮されている
- ベンチマークスコアはベースの 85.4 に対して 83.9 を維持し、数学・指示追従性能はほぼ同等である
- NVIDIA GPU 向けのカスタム CUDA カーネルおよび Apple デバイス向けの MLX カーネルが提供されている
2. 影響（Why）
- ローカル環境のメモリ最適化: 27B パラメータモデルを 6 GB 未満のフットプリントで実行できるため、単一のハイエンドワークステーションやラップトップのメモリ制約下で高度なエージェント処理を動かせる。
- 国内 SaaS のコスト構造転換: [国内 AI アプリ開発ベンチャー] などの事業者は、クラウド API の従量課金コストを抑えつつ、VPC 内やエッジ端末でマルチモーダル機能を持つ 27B モデルを直に運用できる。
3. 根拠・詳細（How）
- 3 値量子化とスケーリングファクター: 各重みを -1, 0, +1 にマッピングし、グループごとに FP16 のスケーリングファクターを共有することで、広範な数値範囲を維持しながら 1.76 bits/weight の圧縮率を実現した。
- ハードウェア別カスタムカーネル: NVIDIA GeForce RTX 5090 では CUDA カーネルにより 143 tokens/sec、Apple M5 Max では MLX カーネルにより 44 tokens/sec のピーク生成速度を記録している。
4. 展望・課題（Next）
- ビジョン・ツール精度の検証: 量子化に伴うビジョン性能やエージェントのツール利用精度の低下が報告されており、特定タスクにおける追加評価が必要となる。
- 推論ランタイムの対応拡大: 標準的な推論ライブラリにはネイティブな 3 値重みサポートがないため、PrismML の提供するカスタムランタイム依存からのエコシステム拡大が課題となる。