Qwen チーム、オープンモデル Qwen3.8-2.4T-A95B を公開──2.4T パラメータと 1M コンテキストを搭載
推論特化型の大規模オープンモデルとして最大規模となる 2.4T 総パラメータ版を公開し、vLLM や SGLang でのローカル運用に対応した。
リリース: 2026-08-08 · 読了 4 分記事の要約
1. 核心（What）
- 総パラメータ数 2.4T、アクティブ 95B の MoE アーキテクチャを採用したオープンウェイトモデル Qwen3.8-2.4T-A95B を公開した。
- Gated DeltaNet と Gated Attention を組み合わせたレイアウトにより、長文脈処理と効率的な推論を両立している。
- 思考プロセスを強制する仕組みを内蔵し、すべての応答の冒頭に <think> タグによる推論内容が出力される設計となっている。
2. 影響（Why）
- 最高峰の推論能力をオープンウェイトで確保: 商用クローズドモデルと同等の reasoning trace を自社インフラ上で実行できるため、機密データを扱うシステムでも最先端の推論タスクを内製化できる。
- 国内 SaaS における長文脈コストの圧縮: 大量のドキュメントを読み込ませる法務・金融系の国内 SaaS 事業者は、1M トークン対応のオープンモデルを自社サーバーで運用することで API コストを抜本的に抑制できる。
3. 根拠・詳細（How）
- MoE と Gated DeltaNet のハイブリッド構造: 512 のエキスパートから推論時に 10 ルートと 1 シェアード（計 11 エキスパート）を発火させ、実効パラメータ数を 95B に抑制しながら 2.4T の知識量を維持する。レイヤー構造は 23 の (3×Gated DeltaNet → MoE) と 1×(Gated Attention → MoE) で構成される。
- vLLM などのサービングエンジンに対応: Hugging Face Transformers フォーマットで重みと設定ファイルが配布されており、vLLM、SGLang、TokenSpeed などの専用サービングエンジンを用いてプロダクション環境へデプロイ可能である。
4. 展望・課題（Next）
- マルチモーダル対応版の展開予定: テキスト専用モデルとして公開された本モデルに対し、視覚入力や非思考モードを統合した Qwen3.8-Max などの派生モデルの活用範囲が順次検証される。