Moonshot AI、2.8 兆パラメータのオープンモデル Kimi K3 を公開──MoE と新規注意機構で 1M コンテキストを効率化
総パラメータ数 2.8 兆の MoE モデル Kimi K3 は、Kimi Delta Attention により 1M トークンコンテキストでのデコード速度を 6.3 倍に高速化した。
リリース: 2026-07-27 · 読了 3 分記事の要約
1. 核心（What）
- Moonshot AI は 2.8 兆パラメータの Mixture-of-Experts モデル Kimi K3 を公開した。
- 896 エキスパート中 16 エキスパートを動的にアクティブ化する設計で、1 トークンあたりの実効パラメータは約 50B に抑えられている。
- Kimi Delta Attention（KDA）により、1M トークンコンテキストでのデコード速度を 6.3 倍に向上させた。
- Quantile Balancing を用いた Stable LatentMoE フレームワークを採用し、ルーティングのハイパーパラメータ調整を排除している。
2. 影響（Why）
- 長文脈処理のコスト再定義: 1M トークンのコンテキストを 50B 相当のアクティブパラメータで処理できるため、高コストなクローズド API に依存していた長文脈 RAG のコスト構造を大幅に圧縮できる。
- 国内基盤開発へのアーキテクチャ的示唆: [国内 LLM 基盤開発企業] のような組織は、KDA によるアテンション計算の線形化と AttnRes による学習効率化の成果を、自社モデルの次期スケーリング則検証に組み込むべきである。
3. 根拠・詳細（How）
- Kimi Delta Attention によるアテンション効率化: 標準的な二次アテンションの一部をハイブリッド線形アテンションである KDA に置き換え、1M トークン長における計算コストを抑えながらデコード速度を 6.3 倍に高速化。
- Attention Residuals と Quantile Balancing: AttnRes により深層モデル内の情報フローを最適化し 25% の学習効率を達成。また Stable LatentMoE の Quantile Balancing でルータースコアの分位点からエキスパートを割り当て。
4. 展望・課題（Next）
- ハードウェア要件と実運用検証の課題: 2.8T という巨大な重み全体をロードするための VRAM/RAM 容量と、アクティブ 50B の推論スループットの実環境におけるトレードオフを検証する必要がある。