jmaczan、C++とCUDAによる推論サーバー tiny-vllm を公開──PagedAttention 等のモダン機能をフル実装
vLLM のコア設計を C++/CUDA で再構築し、PagedAttention や連続バッチングの内部構造を学習しながら Llama 3.2 1B を高速推論できる教育・実用ハイブリッド基盤。
リリース: 2026-04-14 · 読了 3 分PagedAttention、KV Cache、連続バッチング（Continuous Batching）など、商用級推論エンジンの主要機能を C++ と CUDA カーネルでゼロから実装している。
Llama 3.2 1B Instruct モデルを Safetensors 形式で直接ロードし、prefill と decode の両フェーズを GPU 上で完結させている。
FlashAttention 相当の Online Softmax や GQA（Grouped-Query Attention）をサポートし、メモリ効率と推論速度の両立を図っている。
ソースコードに加え、RMSNorm、RoPE、PagedAttention 等の数学的背景と実装をステップバイステップで解説する学習コースが同梱されている。
Python 依存の vLLM と異なり C++ 主体で記述されているため、エッジデバイスや組み込み環境への推論エンジン移植を検討する際の最適なリファレンス実装になる。
PagedAttention のようなブラックボックス化しやすい最適化手法を、生の CUDA カーネルレベルで読み解くことで、独自のカスタムモデル最適化の足掛かりが得られる。
LLM 推論の低レイテンシ化を追求するエンジニアは、vLLM の抽象化されたレイヤーを通さずに、メモリ管理やカーネル実行のボトルネックを直接制御する手法を学べる。Llama 3.2 1B 級の軽量モデルを特定ハードウェアに特化させる際のベースコードとして活用できる。
独自の推論チップやエッジ AI デバイスを開発する国内ハードウェアベンダーや、省メモリなオンプレミス LLM サーバーを構築する SIer にとって、高性能な推論エンジンの「最小構成の教科書」として機能する。