slvDev、28.9M パラメータ LLM を $8 のマイクロコントローラ ESP32-S3 で稼働させるアーキテクチャを公開──Per-Layer Embeddings の応用で毎秒 9 トークンを達成
フラッシュメモリと SRAM の階層管理により、従来モデル比約 100 倍規模の 28.9M パラメータ LLM をオフラインで動作させることに成功した。
リリース: 2026-07-23 · 読了 3 分記事の要約
1. 核心（What）
- ESP32-S3 マイコン上で 28.9M パラメータの LLM が毎秒約 9.5 トークンの速度でオフライン実行される。
- モデルの大部分を占める 25M パラメータの埋め込みテーブルをフラッシュメモリに常駐させ、必要な行のみを読み出す手法を採用している。
- TinyStories データセットを用いた事前学習により、短く一貫性のあるストーリー生成が可能となっている。
2. 影響（Why）
- メモリ制限の突破: マイコンの限られた 512KB の SRAM では全体を常駐できないボトルネックを、ストレージ階層の分離により解決し、従来モデル比 100 倍規模のパラメータ実装を可能にした。
- 組込み開発のコスト構造の変化: 通信モジュールや高価な半導体を排除し、$8 のチップでスタンドアロンのテキスト生成を実現するため、低価格帯 IoT 製品への AI 統合が現実解となる。
3. 根拠・詳細（How）
- Per-Layer Embeddings の適用: Google の Gemma 3n/4 で採用された Per-Layer Embeddings の仕組みをマイコンのメモリ構造に応用し、25M 行の埋め込みテーブルを低速フラッシュに置いたままトークンあたり約 450 バイトのみを抽出する。
- メモリ階層の役割分担: 推論のコアとなる処理を 512KB の SRAM に配置し、作業領域として 8MB の PSRAM、埋め込みテーブル本体を 16MB のフラッシュに分散配置することで限られたリソースに収める。
4. 展望・課題（Next）
- 推論能力の制約と用途: 推論を担当するコア部分のサイズ制約から、現状はコード生成や複雑な質問応答には対応しておらず、軽量なテキスト生成の検証用途にとどまる。