LuffyTheFox、モデル学習ノイズを独自アルゴリズムで除去したモデル Qwen3.6-35B-Genesis を公開
再学習なしで重みバイナリを直接修正する Genesis 方式により、ハルシネーションと過剰冗長性を抑制する。
リリース: 2026-01-03 · 読了 3 分記事の要約
1. 核心（What）
- LuffyTheFox は、大規模言語モデルのテンソル内のランダムノイズを除去するデータ再生成・較正アルゴリズム Genesis を適用した Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF を公開した。
- ベースモデルには HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive を使用し、Hermes データセットからのファインチューニングデータを転写している。
- モデル仕様は 35B パラメータ、MoE 構造（アクティブ 3B）、Gated DeltaNet とフル softmax アテンションのハイブリッド構成となっている。
2. 影響（Why）
- ノイズゲートの突破と出力品質の安定化: モデルが蓄積するランダムノイズを削減することで、再学習なしでハルシネーションや冗長な出力を抑制し、指示従属度を向上させることができる。
- 国内ローカル開発へのコストインパクト: 高額な追加学習コストをかけずに GGUF 形式の重みバイナリを直接修正できるため、リソースが限られた [国内生成 AI スタートアップ] でも高品質なローカル検証が可能になる。
3. 根拠・詳細（How）
- カスタム SVD によるテンソル較正: Google Colab Free 上の Tesla T4 GPU を用い、ssm_conv1d テンソル等のスケーリングバランスをカスタム特異値分解（SVD）で修復する。
- ゼロチャンクの置換による重み最適化: モデルのブロックをチャンク単位でスキャンし、重み分布に最も適合するチャンクを破損したゼロチャンクに置換する。
4. 展望・課題（Next）
- 対応ランタイムでの動作確認: llama.cpp や LM Studio などの GGUF 互換ランタイム環境において、K/V キャッシュの F16 量子化や適切なシステムプロンプト設定での挙動検証が予定されている。