HauhauCS、モデル Qwen3.8-27B-Uncensored-FastMTP-GGUF を公開──推論速度を最大 3.02 倍に加速
Qwen3.8-27B をベースにアグレッシブな検閲解除と専用 FastMTP サイドカーを統合し、長文脈・推論時のトークン生成速度を大幅に引き上げた。
リリース: 2026-08-17 · 読了 3 分記事の要約
1. 核心（What）
- HauhauCS は、Dense 27B のマルチモーダルモデル Qwen3.8-27B をベースにした検閲解除版および加速サイドカー付き GGUF 一式を Hugging Face で公開した。
- 独自開発の FastMTP サイドカーにより、ドキュメント生成時で最大 3.02 倍、推論時で最大 1.93 倍のトークン生成速度 (TG) を達成している。
- 最大 262,144 トークンのネイティブコンテキストを維持し、RTX PRO 6000 Blackwell 96GB 環境での動作検証が行われている。
- K_P（Perfect）カスタム量子化プロファイルを採用し、通常量子化と同等サイズを維持しながら品質を 1〜2 段階向上させている。
2. 影響（Why）
- ローカル推論のボトルネック解消: 長文脈処理や推論モード稼働時のトークン生成速度が最大 3 倍に向上するため、商用 API に依存しないローカル環境での実用的な応答速度が確保できる。
- 国内エッジ AI・ローカル開発への波及: 国内の受託開発企業やプライベート LLM を検証する AI ベンチャー企業は、単一のハイエンド GPU 環境でも高精度な 27B モデルを実用的な速度で運用可能になる。
3. 根拠・詳細（How）
- FastMTP サイドカーの統合機構: 最小限の 32K ドラフトサイドカーと専用パッチを適用した llama.cpp ランタイムを組み合わせて動作し、ターゲットモデルのパラメータや出力ハッシュを変更せずに予測トークンを検証・高速化する。
- 検証環境とベンチマーク結果: RTX PRO 6000 Blackwell 96GB を使用し、完全 CUDA オフロードと --no-mmap 条件下の 9.8K トークン入力・512 トークン出力のベンチマークで測定されている。
4. 展望・課題（Next）
- ランタイム互換性の確認: 最新の upstream llama.cpp ビルドでの仕様変更や、カスタムフラグに対する継続的な追従が必要となる。