Google、ローカルモデルランナー LiteRT と Gemma 4 E2B を公開──Raspberry Pi 5 で完全オフライン稼働を実現
LiteRT ランタイムと Gemma 4 E2B により、175 ドルの Raspberry Pi 5 上で音声・視覚・推論を完全にオフラインで並行処理できる環境を提供する。
リリース: 2026-08-12 · 読了 3 分記事の要約
1. 核心（What）
- Google は LiteRT ランタイムを用いて Gemma 4 E2B を Raspberry Pi 5 上で完全にオフライン動作させることに成功した。
- Gemma 4 E2B は 1,432 MB の RAM でデコード 9 tokens/sec、プレフィル 99 tokens/sec を記録した。
- Per-Layer Embeddings (PLE) により、5.1B の総パラメータのうち RAM 上でアクティブになるのは 2.3B のみとなる。
- Reachy Mini ロボットのデモでは、YOLO による物体検出と Gemma の推論が Pi のハードウェア上で並行稼働した。
2. 影響（Why）
- メモリ効率の限界突破: 5.1B 相当の表現力を持ちながら 2.3B アクティブパラメータと 2 ビット量子化で 1.5 GB 未満に収まるため、安価なシングルボードコンピュータで LLM 運用が可能になる。
- 完全オフライン化の実現: クラウド API への依存やネットワークレイテンシを完全に排除しつつ、人間の発話速度を超える 300 語/分の音声応答速度をローカル処理で達成できる。
3. 根拠・詳細（How）
- Per-Layer Embeddings (PLE) の構造: 大規模な埋め込みテーブルをフラッシュストレージ側に保持し、各デコーダーレイヤーには並列の低次元コンディショニング経路経由でトークン固有情報を動的に渡す設計を採用。
- XNNPACK による CPU アクセラレーション: LiteRT-LM オーケストレーションレイヤーを介して CPU 演算を XNNPACK で最適化し、リソースが限られた Raspberry Pi 5 上で低レイテンシ実行を維持。
4. 展望・課題（Next）
- 導入手順とコミュニティ展開: pip install litert-cli でインストール可能であり、モデルは LiteRT Hugging Face Community から無償で取得して検証を進められる。