Tencent、推論高速化フレームワーク AngelSpec をオープンソース公開──Hunyuan 3 で最大 2.86 倍の高速化を達成
295B MoE の Hunyuan 3 に向けた推論高速化フレームワーク AngelSpec が公開され、6 種類のドラフトモデル学習と vLLM 統合を単一パイプラインで実現した。
リリース: 2026-07-29 · 読了 3 分記事の要約
1. 核心（What）
- Tencent は、推論高速化のためのドラフトモデルの学習およびデプロイを統合したオープンソースフレームワーク AngelSpec を公開した。
- DFly アーキテクチャを使用することで、Hunyuan 3 において自己回帰デコード比で 1.98 倍から 2.40 倍の平均スループット向上を達成した。
- フレームワークは config レベルの切り替えだけで 6 種類のドラフトアーキテクチャを同一の学習パイプラインで処理可能にする。
- Ulysses シーケンス並列処理により、MTP パス経由で 128k コンテキストの長文脈学習をサポートしている。
2. 影響（Why）
- 推論スループットの劇的な改善: ターゲットモデルの重み自体を変更せずに、平均受入長 4.79 トークンを達成するドラフトモデル構成により、大規模 MoE のホスティングコストを実用的な水準まで引き下げられる。
- 国内サービス事業者のコスト構造変革: API コストや GPU 運用費が高止まりしている国内の生成 AI サービス事業者は、vLLM と組み合わせた speculative decoding の自社実装により、同等ハードウェアでの処理能力を大幅に拡張できる。
3. 根拠・詳細（How）
- 6 種類のドラフトモデル統合基盤: DFly、DFlash、DFlare、Eagle3、DSpark、MTP の各アーキテクチャを単一のコードベースとコンフィグ切り替えで学習・検証できる設計を採用している。
- 独立スケーリングと長文脈対応: RDMA ベースの隠れ状態ストリーミングにより、推論用 GPU プールと学習用 GPU プールを独立してスケーリングし、Ulysses シーケンス並列処理で 128k の長文脈トレーニングを実行する。
4. 展望・課題（Next）
- 追加モデルへの対応拡大: Hunyuan 3 および Qwen3-8B 以外のオープンウェイトモデルに対する公式ドラフトウェイトの拡充と、vLLM エコシステムでの最適化が進められる予定である。