InclusionAI、次世代ハイブリッド推論モデル Ling-3.0-flash を公開──124B 総パラメータで 5.1B アクティブ化を実現
KDA と MLA を統合したハイブリッド線形注意機構により、124B 総パラメータながら有効パラメータを 5.1B に抑え、長文脈推論での初回トークン遅延（TTFT）を 60-80% 削減した。
リリース: 2026-08-05 · 読了 3 分記事の要約
1. 核心（What）
- InclusionAI が総パラメータ 124B、アクティブ 5.1B のハイブリッド推論モデル Ling-3.0-flash を公開した
- Kimi Delta Attention と MLA を 5:1 で交互に積むネイティブハイブリッド線形注意アーキテクチャを採用している
- SGLang HiCache と Mooncake を統合した階層型キャッシュ機構により、長文脈シナリオでの冗長な再計算を排除する
- SWE-bench Pro や Tau3-banking-AA などの代表的なコードおよびエージェントベンチマークで高い評価を獲得している
2. 影響（Why）
- 推論コストと長文脈処理の両立: 5.1B のアクティブパラメータでフラッグシップ級の推論性能を達成するため、全社共通の重厚な RAG 基盤や長文脈エージェントを現実的な運用コストで維持できる。
- 国内開発環境への実用的メリット: 国内で自社エージェントやコーディング支援ツールを開発するチームは、商用 API への依存度を下げ、セキュアな VPC 内で高品質な推論ループを回すことが可能になる。
3. 根拠・詳細（How）
- KDA と MLA のハイブリッド線形注意: 事前のプレトレーニング段階から Kimi Delta Attention と MLA を 5:1 の比率で交互に積むアーキテクチャを採用し、ファイングレインな対角ゲーティングと 1/64 のスパース MoE を組み合わせている。
- 階層型キャッシュによる遅延削減: 物理デュアルプールとクラスタ共有 L3 キャッシュを持つ SGLang HiCache + Mooncake 構成により、長文脈入力時における初回トークン生成遅延（TTFT）を 60% から 80% 削減する。
- マルチトークン予測（MTP）の推論最適化: SGLang および vLLM 向けに公式提供されるクックブックを使い、--speculative-config で MTP を有効にすることで、4基の 141GB GPU ノード等における低レイテンシ・高スループットな運用を実現する。
4. 展望・課題（Next）
- コミュニティによる実装検証: Hugging Face および ModelScope 上での公開に伴い、vLLM や SGLang 環境での実運用テストとカスタムツール連携の検証が進む見通し。