Unsloth、推論モデル Qwen3.8-Flash-Next-GGUF を公開──MTP による 1.3-1.7 倍の高速化とネイティブ 256K コンテキストを実現
125B パラメータ規模のアーキテクチャをベースに、Qwen Sparse Attention と n-gram 埋め込みを導入して長文脈処理のレイテンシを大幅に抑制した。
リリース: 2026-08-29 · 読了 3 分記事の要約
1. 核心（What）
- Unsloth が Qwen3.8-Flash-Next-GGUF の提供を開始し、Llama.cpp や Unsloth Desktop から利用可能にした。
- Gated DeltaNet と Qwen Sparse Attention（QSA）を組み合わせたハイブリッドアテンションを採用している。
- 20,000,000 の bigram/trigram を持つ n-gram 埋め込み層をレイヤー 2 に配置し、メモリ効率を高めている。
- デフォルトで思考モード（thinking mode）が有効になっており、API パラメータで切り替えが可能である。
2. 影響（Why）
- 長文脈とエージェント性能の両立: 最大 100 万トークンのコンテキストと QSA によるマイクロブロック単位の処理により、複雑なコードベース解析でもレイテンシの増大を防げる。
- 国内 SaaS の推論コスト削減: 大規模なアクティブパラメータを回避しつつ高性能を維持するため、API 利用料金の高騰に悩む国内開発現場のコスト構造を改善する起爆剤になる。
3. 根拠・詳細（How）
- QSA と Gated DeltaNet のハイブリッド設計: Gated DeltaNet と Qwen Sparse Attention をマイクロブロック単位で連携させ、長文脈エージェント処理におけるボトルネックを解消する。
- n-gram 埋め込みによるメモリ効率化: 51B の n-gram 埋め込みパラメータを導入することで、MoE と比較して計算量を抑えつつメモリ制約のあるアクセラレータでのスケーリングを実現する。
4. 展望・課題（Next）
- 推論フレームワークへの順次対応: サンプリングパラメータや思考モード制御のサポート状況は推論フレームワークごとに異なるため、vLLM や Llama.cpp のアップデート追従が必要となる。