HuggingFace、ローカルモデル ランナー Huihui-Qwen3.8-27B-abliterated-GGUF を公開──安全性フィルターを部分解除した 27B モデル
Qwen3.8-27B をベースにレイヤー 18 から 51 のみを対象としたアブリレーション処理を施し、モデル性能を維持したまま安全フィルターを回避する GGUF 形式のウェイト群を提供する。
リリース: 2026-08-16 · 読了 3 分記事の要約
1. 核心（What）
- Huihui-ai は Qwen/Qwen3.8-27B の安全フィルターを部分的に無効化した abliterated GGUF モデルシリーズを公開した
- モデルは unsloth/Qwen3.8-27B-GGUF を元に変換され、レイヤー 18 から 51 までを選択的にアブレートしている
- Q2_K から Q6_K までの低ビット量子化において対象テンソルを Q8_0 に引き上げる K_L 形式の独自量子化スクリプトが同梱されている
- ollama run huihui_ai/Qwen3.8-abliterated または llama.cpp（コンテキスト 262,144）を用いたローカル実行に対応している
2. 影響（Why）
- モデル性能の維持とフィルタ解除の両立: 初期の 15 レイヤーや視覚モジュールを温存することで、ベースモデルが持つタスク処理能力の大幅な低下を防ぎつつ制限をバイパスできる。
- ローカルランナーでの即時検証: 専用の TransformerLens を経由せず、llama.cpp や Ollama の標準コマンドで直接ロードして実環境テストを行える。
3. 根拠・詳細（How）
- 層別アブリレーションの仕様: 全レイヤーではなくレイヤー 18 から 51 のみを対象にリフサルを回避し、MTP（Multi-Token Prediction）および視覚コンポーネントは変更せず維持している。
- カスタム量子化の適用: llama-quantize コマンドに --allow-requantize と専用のテンソル型定義ファイルを指定し、対象レイヤーの量子化精度を維持している。
4. 展望・課題（Next）
- 実運用における安全管理: コンテンツフィルタリングが事実上無効化されているため、商用環境や公開エンドポイントへの直接導入時はリアルタイムの監視と手動レビューの体制が必須となる。