sqliteai、推論サーバー WASTE を公開──2.78兆パラメータの Kimi K3 を 29GB RAM のコンシューマー機で実行
2.78兆パラメータの MoE モデル Kimi K3 を 982 GiB のディスクからストリーミングし、外部依存なしでローカル動作させる C11 製推論エンジン。
リリース: 2026-08-01 · 読了 3 分記事の要約
1. 核心（What）
- sqliteai は 2.78 兆パラメータの Kimi K3 をコンシューマー機で動かす C11 製推論エンジン WASTE を公開した。
- モデルコンテナのサイズは 982 GiB で、最低 29.05 GB の RAM と内蔵 NVMe SSD が実行に必要となる。
- 生成速度は 0.45〜0.62 tokens/sec であり、PyTorch リファレンスに対するロジットの一致度は 3.6e-06 を達成している。
- 小規模モデル向けとして、19 GB のコンテナで 10.7 tok/s を出す Kimi-Linear-48B も同時にサポートする。
2. 影響（Why）
- クラウド依存ゼロのローカル実行: 1M トークン級のモデルを API 経由ではなく手元のハードウェアで完結できるため、機密データを扱う法務・金融系の社内ツール開発においてデータプライバシーの制約を完全に回避できる。
- 国内エッジ・組込開発へのインパクト: [国内 組込・エッジ AI 開発業種] のような中規模事業者は、テラバイト級サーバーを自社調達せずともコンシューマー向けデスクトップ PC 上でフロンティア級 MoE モデルの検証環境を構築できるようになる。
3. 根拠・詳細（How）
- ディスクからの直接ストリーミング: モデルの幹部分のみをメモリに常駐させ、必要なエキスパート層をディスクから直接 `pread` で読み出すことで、982 GiB のコンテナを 29 GB の RAM でハンドリングする。
- OS キャッシュのバイパスと最適化: macOS の `F_NOCACHE` や Linux の `O_DIRECT` を用いてカーネルのページキャッシュをバイパスし、次の層の読み込みを先行させることでヒット率を 14% から 38% へ向上させた。
4. 展望・課題（Next）
- パフォーマンスとストレージの制約: 現状の速度は 0.5 tok/s 前後と実用的なチャット速度には達しておらず、内部 SSD の読み込み速度（推奨 12.78 GB/s 以上）がボトルネックとなる制約がある。