orcarouter、Qwen3.8-27B-Uncensored-GGUF モデルを公開──27B ハイブリッド構成と MTP ヘッドを搭載
Qwen3.8-27B の安全性をアブリレーションで除去した GGUF 版で、llama.cpp 向けの 2bit から 16bit までの量子化ファイル 16 タグを提供する。
リリース: 2026-08-20 · 読了 3 分記事の要約
1. 核心（What）
- orcarouter が Qwen3.8-27B-Uncensored の GGUF 量子化版（2-bit から 16-bit）を Hugging Face でリリースした。
- Gated DeltaNet linear と full attention を組み合わせた 27B dense hybrid-attention 構造を採用している。
- 有害プロンプトの拒否率が 0–6% に下がり、機能維持率はベースモデルから ±1.3 pt 以内に収まっている。
- ビジョン用の mmproj ファイル、MTP ヘッド、マルチターン tool calling、reasoning 機能を完全に保持している。
2. 影響（Why）
- ローカル環境での安全性研究加速: API 制限のない状態でモデルの解釈性や安全機構の検証を行えるため、独自のガードレール開発に必要なレッドチーミングの効率が飛躍的に高まる。
- ハードウェア制約の突破: 24GB VRAM の単一 GPU で 27B クラスのマルチモーダルモデルを動かせるため、大規模なサーバー投資を行わずにローカル検証基盤を整えられる。
3. 根拠・詳細（How）
- アブリレーションによる安全性除去: 残差ストリームから拒否方向を直交化（orthogonalizing）するアブリレーション手法により、モデルの基本性能を維持したまま有害プロンプトの拒否率を劇的に引き下げた。
- ハイブリッド構造と MTP の維持: Gated DeltaNet 線形注意機構と SSM 式テンソル（ssm_*）、さらに次世代予測を行う MTP ヘッド（blocknextn.*）を量子化後もそのまま保存し、llama.cpp 2026年5月以降のソースビルドで動作させる。
4. 展望・課題（Next）
- 低ビット量子化における品質検証: Q2_K や Q3 などの低ビット量子化における追加の精度劣化や、カスタムキャリブレーションテキストを用いた再量子化の最適化が進められる予定。