Apple M5 Neural Accelerator対応推論ランタイムBaseRT──llama.cpp比最大6.4倍のスループットを実現

論文概要

本論文は、Apple M5チップに搭載された新しいGPUアーキテクチャのNeural Acceleratorを直接活用する推論ランタイム「BaseRT」を提案する。Metal 4 tensor APIを介して行列演算ユニットを制御し、既存のllama.cppやMLXと比較して、プロンプト処理（prefill）において最大6.4倍、デコードにおいて最大1.75倍のスループット向上を実証した。

関連研究

Apple Silicon上での推論には、汎用的なllama.cppやApple公式のMLXが広く利用されている。しかし、これらはハードウェアの特定の低レイヤー機能を完全に引き出せていない場合がある。本研究は、M5世代のチップで刷新されたGPU内の専用Neural Acceleratorを直接叩くことで、これらのフレームワークの性能限界を突破することを目的としている。

新規性と貢献

主な貢献は、手書きのMetal 4 tensor-coreカーネル群の実装である。特に、計算負荷の高い行列演算（GEMM）やMixture-of-Experts（MoE）モデルの演算をNeural Acceleratorへルーティングし、メモリ帯域幅に依存するデコードパスと分離する設計が新規である。これにより、計算リソースの利用効率を最大化している。

提案手法の詳細

BaseRTはフレームワークに依存しない設計を採用している。核心となるのは、M5の各コアに統合されたNeural AcceleratorをMetal 4 tensor API経由で直接操作するカーネルの最適化である。計算集中型の処理をNeural Acceleratorへオフロードし、デコード処理は既存の最適化済みカーネルで実行することで、ボトルネックを回避している。

評価・考察

Apple M5 Proを使用し、Qwen3、Llama 3.2、Gemma 4など15種類のモデル（1B〜35Bパラメータ）で検証を行った。特にMoEモデルにおいて高い性能差が見られた。llama.cppと比較してプロンプト処理で最大6.4倍、MLX比で3.9倍のスループットを記録し、デコード速度でもそれぞれ1.75倍、1.33倍の優位性を示している。

応用例と今後の展望

本研究は、オンデバイスでのLLM推論において、モバイルワークステーションやエッジAIサーバーでのリアルタイム性を大幅に引き上げる。日本の製造業や医療現場におけるエッジAI導入において、これまで推論速度がネックとなっていた複雑なモデルのローカル実行が現実的になる。今後は、より広範なモデルアーキテクチャへの対応と、さらなるメモリ管理の最適化が課題である。

結論

M5のNeural Acceleratorは、Apple SiliconにおけるLLM推論の性能天井を押し上げる決定的なレバーである。BaseRTは、このハードウェアのポテンシャルを最大限に活用する手段を提供し、今後のオンデバイス推論の標準的な実装指針となる。

注釈

• Neural Accelerator: 行列演算を高速化するために特化されたハードウェアユニット。
• Metal 4: Appleが提供するGPUコンピューティング向けの低レイヤーAPI。
• GEMM: General Matrix Multiplyの略。ニューラルネットワークの計算の核となる行列積演算。