Wafer、推論サーバー Kimi K3 の AMD MI355X 実行検証を公開──B300 を上回るコストパフォーマンスを実現
2.8T パラメータの超大型モデル Kimi K3 を AMD MI355X で動作させ、NVIDIA Blackwell 世代と比較して優れたドルあたり性能を実証した。
リリース: 2026-07-31 · 読了 4 分記事の要約
1. 核心（What）
- Wafer は、2.8T パラメータの OSS モデル「Kimi K3」を AMD MI355X サーバー上で動作させ、パフォーマンスとコスト効率の検証結果を公開した。
- 1,024 トークン入力・400 トークン出力のベンチマークにおいて、MI355X は 952 tok/s/node および 118 tok/s single stream を記録した。
- ハードウェアコストは MI355X が B300 の約 2.4 分の 1、B200 の約 1.7 分の 1 の単価（GPU あたり $2.50/hr）で運用可能。
- ROCm 環境における sglang の top-k renorm バグ修正と AITER MLA プリフィルカーネルのパディング調整により、パフォーマンス問題とプリフィル速度を改善した。
2. 影響（Why）
- 高コストな Blackwell 世代への代替解: 2.8T パラメータ級の巨大モデルを 288GB VRAM を持つ MI355X で効率的にサービングできる点は、NVIDIA 依存のインフラコストを大幅に下げる現実的な選択肢になる。
- 国内データセンター・生成 AI 事業者への影響: [国内 AI インフラ・LLM 運用受託事業] のような中規模・大手クラウドサービスプロバイダは、Nvidia GPU 以外の選択肢として AMD MI355X を組み合わせた高コンテキスト RAG 基盤のコスト試算を再設計する契機となる。
3. 根拠・詳細（How）
- sglang の top-k renorm バグ修正: ROCm 環境で未定義だった top_k_renorm_prob の代わりに PyTorch による単一の sort・masked_fill・divide 処理を挿入し、スケコーダのクラッシュを回避した。
- AITER MLA プリフィルカーネルの形状パディング: TP8 設定時の 12 アテンションヘッドを 16 にゼロパディングして AITER の MLA 高速パスへ強制的に流し込み、プリフィル速度を 2〜3 倍に改善した。
4. 展望・課題（Next）
- AMD プラットフォームでの day-0 サポートの拡大: 主要なフロンティアモデルにおける AMD ROCm の day-0 サポートとエコシステムの成熟が、NVIDIA 独占市場に対する最大のボトルネック解消につながるか注目される。