AWS、推論サーバー Kimi K3 のデプロイガイドを公開──2.8 兆パラメータ MoE モデルを Amazon SageMaker HyperPod で運用
Moonshot AI が発表した 2.8 兆パラメータのオープンウェイト MoE モデル Kimi K3 を、AWS 上で vLLM と NVIDIA B300 GPU を用いてセルフホストする手順を解説する。
リリース: 2026-07-30 · 読了 4 分記事の要約
1. 核心（What）
- AWS は 2026 年 7 月 30 日、2.8 兆パラメータのオープンウェイト MoE モデル Kimi K3 を AWS 環境へデプロイするための公式ガイドを公開した。
- Amazon SageMaker HyperPod と Amazon EKS の 2 つのアプローチによる構築手順とマニフェストが提供されている。
- 推論エンジンには vLLM のデイゼロコンテナを使用し、MXFP4 量子化フォーマットとテンソル並列処理をサポートしている。
- GPU インスタンスには NVIDIA B300 Blackwell Ultra を 8 基搭載した ml.p6-b300.48xlarge が指定されている。
2. 影響（Why）
- 自社インフラでのフロンティアモデル運用: API 制限やデータプライバシーの懸念があるエンタープライズ企業が、自社 VPC 内で最上位クラスの推論システムを直接制御できるようになる。
- 国内インフラ運用チームへの実装指針: [国内 AI プラットフォーム運用企業] のような組織は、Kubernetes や SageMaker を用いた大規模 MoE の具体的なリソース要件と設定値の基準を得られる。
3. 根拠・詳細（How）
- モデルアーキテクチャとアクティブパラメータ: Kimi Delta Attention や Gated Multi Head Latent Attention を採用し、全 896 エキスパート中 16 エキスパート（約 104B パラメータ）を発火させてスケーリング効率を前世代比 2.5 倍に改善している。
- インフラ調和と vLLM 設定: Flexible Training Plan または EC2 Capacity Blocks により ml.p6-b300.48xlarge のリソースを確保し、vLLM コンテナで tensor-parallel サイズ 8 と MXFP4 ローマウントを指定して OpenAI 互換エンドポイントを公開する。
4. 展望・課題（Next）
- vLLM メインラインへの統合待ち: 執筆時点では Kimi K3 向けの専用コミット版 vLLM コンテナを使用しており、今後公式のメインラインコンテナへ統合される予定。