ローカルモデルランナー ik_llama.cpp、13年前の Xeon で Gemma 4 26B を毎秒 5 トークンで実行
AVX2 命令セット非対応の旧世代 CPU でも、LLM 推論のホットパスを最適化することで実用的な読書速度を実現した。
リリース: 2026-06-08 · 読了 3 分記事の要約
1. 核心（What）
- 260 億パラメータの MoE モデル Gemma 4 を、GPU 非搭載の 13 年前製 HP StoreVirtual サーバー（Ivy Bridge Xeon）上で動作させた。
- 推論速度は毎秒約 5 トークンであり、人間が読む速度に匹敵するパフォーマンスを記録した。
- ik_llama.cpp の最適化手法をベースに、AVX2 命令セットを持たない旧世代 CPU 向けにカーネルを再構築した。
2. 影響（Why）
- 推論インフラの選択肢拡大: GPU への依存を排除することで、オンプレミスのレガシーサーバーを LLM 推論基盤として再利用できる。クラウドの推論 API 費用を削減したい小規模な社内ツール開発において、ハードウェア制約を回避する現実的な選択肢となる。
- 国内 SaaS のコスト最適化: [国内の受託開発・小規模 SaaS 業種] において、推論コストを理由に導入を見送っていた社内向け RAG ツールなどを、既存の遊休サーバーで低コストに構築できる可能性がある。
3. 根拠・詳細（How）
- AVX2 未対応 CPU への最適化: Haswell 以降の AVX2/FMA3 命令セットに依存していた ik_llama.cpp のホットパスを、Ivy Bridge（v2）世代の命令セットへフォールバックするように書き換えた。
- 推論パイプラインの構成: speculative decoding、CPU 向けに移植された Flash Attention、およびランタイムでの重みリパッキングを組み合わせ、26B モデルの MoE ルーティングを CPU 処理に最適化している。
4. 展望・課題（Next）
- モデルアーキテクチャの制約: 本手法は特定のモデル構造とハードウェアの組み合わせに依存しており、他のモデルへの適用には個別のカーネル再構築が必要となる。