Perplexity、推論サーバー Lily を公開──Apple Silicon で Qwen3.6 を MLX-LM 比 1.35 倍に高速化
Perplexity が Apple Silicon 専用にスクラッチ開発した推論エンジン Lily を公開し、カスタム Metal カーネルと Rust ランタイムにより Qwen3.6-35B-A3B のデコード速度を MLX-LM 比で 1.35 倍に引き上げた。
リリース: 2026-09-02 · 読了 4 分記事の要約
1. 核心（What）
- Perplexity が Apple Silicon 専用の Metal 推論エンジン Lily をオープンソースで公開した。
- 対象モデルは Qwen3.6-35B-A3B (35Bパラメータ、アクティブ3B、8/256ルーター、混合アテンションレイヤー) に限定されている。
- M5 Max (40コアGPU/128GBユニファイドメモリ、バッチ1) において、MLX-LM と比較してプレフィルで平均 1.23 倍、デコードで 1.35 倍のスループットを達成した。
- PyTorch や MLX を排除したカスタム Rust ランタイムと Metal カーネルにより、ハードウェア帯域幅の 90% から 97% を活用する。
2. 影響（Why）
- 汎用フレームワークを越える専用設計: 一般的な汎用ランタイムと異なり、特定のモデル構造や量子化スキームにハードウェアを完全に一致させることで、コンシューマー向けチップ上でも実用的な速度で MoE モデルを動作させられる。
- ローカルエージェントのレイテンシ改善: 長文脈や多数のツール呼び出しが伴うマルチターン環境において、ローカル側の処理遅延がボトルネックになる課題をカスタムカーネルとメモリ配置の最適化で大幅に軽減する。
3. 根拠・詳細（How）
- 融合型 4 ビット逆量子化と GPU 常駐ルーティング: グループ化された GEMM 内で 4 ビットウェイトを動的に逆量子化する仕組みにより、プレフィル時のスループットを 77.4% 向上させるとともに、MoE ルーティング処理を単一のコマンドバッファ内で完結させて 89% の速度向上を実現した。
- GQA パッキングとコンカレントカーネル実行: グループ化クエリヘッド (GQA) のパッキングにより KV 読み込みの重複を削減し、Metal の同時実行パスを活用して最大 795 個の独立したデコードカーネルをオーバーラップさせることで 128K 文脈でのデコード効率を高めた。
4. 展望・課題（Next）
- 異種ハードウェアへの展開の課題: Lily は単一のモデルと Apple Silicon のアーキテクチャに強く結合しているため、他モデルや他社製チップへの汎用的な移植は困難であり、今後のモデル構造の変化に対するランタイム設計のあり方に課題を残している。