Sakana AI、逆伝播なしで深層学習を行う学習手法 PC-ALM の論文を公開──1,000 層の残差 MLP 学習を実証
逆伝播のバックプロパゲーションを使わず層間ローカル通信のみで 1,000 層の残差 MLP 学習に成功し、MNIST で標準逆伝播と 2% 以内の精度差を達成した。
リリース: 2026-09-14 · 読了 5 分記事の要約
1. 核心（What）
- Sakana AIは、逆伝播を排除し隣接層間のローカル通信のみで深層ネットワークを学習させるPC-ALMを発表した。
- 予測符号化（Predictive Coding）を拡張し、各層の状態制約に対するラグランジュ乗数を二重ニューロンとして表現する。
- MNISTにおける幅32・1,000層の残差MLP実験で、標準逆伝播の精度から約2%以内に収まる性能を実証した。
- 論文およびソースコードがarXivおよびGitHubで公開されている。
2. 影響（Why）
- ニューロモーフィック設計の現実解: 従来の逆伝播はネットワーク全体の逆方向の連鎖的計算が必要だが、PC-ALMは局所的状態変更のみで勾配を近似できるため、逆伝播を物理的に処理しにくいハードウェア設計への道を開く。
- 国内LLM・ロボット開発への示唆: [国内のロボット・エッジAI開発企業]のようなハードウェア統合を伴う組織は、GPUバックプロパゲーションに依存しない学習モデルの基礎研究として、次世代デバイス向けのオルタナティブな学習則評価に活用できる。
3. 根拠・詳細（How）
- 二重ニューロンによるラグランジュ乗数の導入: 各層の状態が先行層の予測と一致するよう制約付き最適化問題として定式化し、ラグランジュ乗数をベクトル化された二重ニューロンで表現して残差予測誤差を蓄積する。
- 弾道波状のシグナル伝播モデル: 標準的な予測符号化が熱拡散のように緩慢にシグナルを伝えるのに対し、PC-ALMはネットワーク深度に比例する試行回数（T = 2L）で出力を初期層へ素早く到達させるバリスティックな伝播を実現している。
4. 展望・課題（Next）
- 大規模ワークロードへの適用検証: 現在の実験範囲は画像分類の残差MLPおよびResNet-18にとどまっており、Transformerや大規模言語モデルへのスケーラビリティ検証が今後の課題となる。
- neuromorphic システムでの実測評価: 理論上の線形ネットワーク等価性は証明されているものの、アナログ環境やニューロモーフィックハードウェア上での実効エネルギー効率や実測ウォールクロック時間の検証が求められる。