推論サーバー Deltafin、2.8T モデル Kimi K3 を M5 Max MacBook Pro で実行──4 基の SSD からエキスパートをストリーミングし 1.00 token/s を達成
2.8兆パラメータ・全16エキスパートを無圧縮でローカル動作させる推論サーバーが登場し、128GBのM5 Maxと4基のSSD環境で1.00 token/sの安定稼働を実現した。
リリース: 2026-09-08 · 読了 3 分記事の要約
1. 核心（What）
- Kimi K3 (2.8T MoE、1.45 TB のエキスパート重み) を全 16 エキスパート無圧縮のままコンシューマー機で実行する単一バイナリの推論サーバー Deltafin が公開された。
- M5 Max (128 GB) と 4 基の SSD を接続した環境で測定され、512 トークン生成時の定常デコード速度で 1.00 token/s を記録した。
- ストレージ構成の検証では、1 基の SSD では 4 基時の約 52%、3 基では約 90% の速度となり、全 16 リード中の最遅の読み込みが全体の速度を決定することが判明した。
- オプションの Qwen ドラフターを有効にすることで、プロンプト処理と応答の高速化を図る機能を備える。
2. 影響（Why）
- 無圧縮による品質維持の検証: 量子化によってモデルの精度を落とす従来手法と異なり、Moonshot が出荷したそのままのエキスパート重みを使用するため、モデル本来の性能を評価できる点が決定的に異なる。
- ローカル環境におけるコスト対効果: 数百万ドル規模のインフラが必要とされる 2.8T モデルの検証を 1 万ドル台のハードウェアで代替できるため、検証コストを大幅に引き下げられる。
3. 根拠・詳細（How）
- SSD ストリーミングアーキテクチャ: 1.45 TB に及ぶエキスパート重みを 4 基の SSD からオンデマンドでストリーミングし、M5 Max の 128 GB メモリと組み合わせることで、単一バイナリのランタイムから効率的な推論を実現している。
- ドラフター統合による高速化仕様: 追加の Qwen アドオンを用いることで、小規模モデルによる予測（ドラフト）と K3 による検証を組み合わせ、コード補完等のトラフィックで高速なテキスト生成を処理する仕組みを採用している。
4. 展望・課題（Next）
- プリフィル処理の最適化: 各レイヤーのエキスパートを 8 回再読み込みするプレフィル処理の非効率性が特定されており、今後のアップデートで修正が計画されている。