推論サーバー Kimi K3 のセルフホスティング検証結果を公開──ハードウェアコスト 20% 増でタスク解決精度が 86.4% に向上
1.4TB の重みを持つ Kimi K3 を 8×B300 ノードで運用し、Claude Code 比で処理速度は低下するものの SWEBench Pro で高いタスク解決精度を記録した実測値を報告。
リリース: 2026-07-01 · 読了 4 分記事の要約
1. 核心（What）
- 1.4TBの重みを持つKimi K3をSGLangでサービングする検証において、8×B200ノードのメモリ制限（1.5TB HBM）を回避するため8×B300ノード（2.88TB HBM）を採用した。
- ハードウェアコストは従来の8×B200セットアップと比較して約20%増加した。
- Kimi K3の並行セッション数は16（GLM-5.2は24）、集約トークン処理速度は16ユーザー時で122 tok/s（GLM-5.2は170 tok/s）と約30%低下した。
- SWEBench Proのサブセットを用いたタスク解決精度は86.4%に達し、GLM-5.2およびOpus 4.8の62.5%を24ポイント上回った。
2. 影響（Why）
- API からセルフホスティングへの移行判断基準: トークン課金が高騰する中、自社でGPUインフラを所有・運用するコストと、タスク解決精度のトレードオフを実測データから判断できる。
- 国内AI開発・SaaSチームへの影響: [国内 AIコード支援SaaS企業] 規模の開発チームは、API依存のコスト構造を見直し、オープンウェイトモデルのオンプレミス運用におけるハードウェア選定のベンチマークとして活用できる。
3. 根拠・詳細（How）
- ハードウェアとサービングの構成: 8基のB300 GPU（各288GB HBM、ノード合計2.3TB）を搭載した構成を採用し、SGLangを用いて1.4TBのモデルウェイトとKVキャッシュのメモリ予算を確保した。
- タスク解決精度の検証手法: ScaleLabsのSWEBench Proサブセットを使用し、16並行セッションでの中央値タスク完了時間と解決率を測定した。
4. 展望・課題（Next）
- ベンチマークデータの解釈に関する注意: SWEBench ProのタスクがKimi K3の事前学習データに含まれていた可能性があるため、実運用への導入時は自社タスクでの追加検証が推奨される。