推論サーバー、K2 Horizon を 16GB GPU で検証──Ollama 非対応と vLLM 単独稼働の実態
K2 Horizon の「day-zero support」を 16GB GPU で実証し、Ollama が未対応である一方 vLLM 0.28.0 では公式 FP8 版が動作することを確認した。
リリース: 2026-09-01 · 読了 4 分記事の要約
1. 核心（What）
- IFMのオープンモデル「K2 Horizon」の6サイズのうち0.9Bと7B-FP8を16GB GPU環境で検証した。
- Ollama 0.33.3およびllama.cppではアーキテクチャ未対応エラーにより読み込みに失敗した。
- vLLM 0.28.0に公式レシピを適用することで7B-FP8版 (11GB) の動作を確認した。
- 日本語事務仕事6問のテストで、7B-FP8は全問正解し、0.9Bは英語混じりや営業日見落とし等の不具合を生じた。
2. 影響（Why）
- ランナー選定のコスト削減: 公式のアナウンスをうのみにして Ollama を前提に検証を進めると手戻りが発生するため、初期の動作確認工数を最小化するうえで vLLM を直接採用する判断基準が得られる。
- 国内業務への適用ラインの明確化: 国内の自動化導入プロジェクトにおいて、小型モデルを過信して失敗するリスクを防ぎ、7B-FP8 クラスを実用ラインとする定量的な根拠を確保できる。
3. 根拠・詳細（How）
- 検証環境とハードウェア構成: NVIDIA GeForce RTX 4060 Ti (16GB) と RAM 32GB の Linux 環境を用い、vLLM 0.28.0 と Ollama 0.33.3 の挙動を比較した。
- モデルサイズ別の動作実績: BF16 版 7B は 17GB で CUDA OOM となったため、11GB の公式 FP8 版を --max-model-len 8192 および --gpu-memory-utilization 0.90 の引数で起動した。
4. 展望・課題（Next）
- ランナー側の対応追跡: Ollama や llama.cpp における K2 Horizon アーキテクチャの公式対応パッチおよび issue #28361 の進捗を継続して監視する。