Sakana AI、新組織 Frontier Intelligence Group を設立──Transformer 非依存の学習手法を探索
Transformer の限界を克服するため、局所更新による 1,000 層学習や神経科学ベースの時系列モデルを検証する研究組織を発足した。
リリース: 2026-09-18 · 読了 4 分記事の要約
1. 核心（What）
- Sakana AI は、Transformer に依存しないスケーリング手法を探索する内部研究組織「Frontier Intelligence Group (FIG)」を東京ラボに設立したことを発表した。
- 局所予測誤差を用いてバックプロパゲーションなしで最大 1,000 層のネットワークを学習させる「Augmented Lagrangian Predictive Coding」などの 5 つのプロジェクトを公開した。
- NVIDIA との共同開発により、billion-parameter 級 LLM において 95% 以上のフィードフォワードニューロンを非活性化できるスパースデータ形式と CUDA カーネルを開発した。
- 生物学的タイミングを取り入れた「Continuous Thought Machines (CTM)」や、分散型モジュールを想定した「Smart Cellular Bricks」などの長期的な実験的アプローチを推進する。
2. 影響（Why）
- 研究投資の偏りを是正する新組織: Transformer のみが主流となった現在の業界構造下で、バックプロパゲーションの代替や脳神経科学的アプローチなど、これまで十分に投資されてこなかった長期的なオルタナティブ手法を検証する基盤となる。
- 国内リサーチ機関への採用・連携インパクト: 国内の基盤モデル研究や神経科学を横断するアカデミア・研究機関は、Transformer 以外のスケーリング手法やローカル学習則のベースライン設計において、FIG が公開する実装方針を検証リファレンスとして活用できる。
3. 根拠・詳細（How）
- Augmented Lagrangian Predictive Coding の仕組み: 大域的な損失関数から逆伝播を行う従来の手法とは異なり、各層を局所的な予測誤差のみで訓練する手法であり、分散システムやニューロモルフィックチップへの適合を見据え拡張ラグランジュ法を用いて 1,000 層の深層化を達成している。
- NVIDIA 共同開発のスパース CUDA カーネル: 推論時に 95% 以上のフィードフォワードニューロンを非活性化させるスパースデータ形式を採用し、GPU の実行パターンに合わせてハードウェアが非活性部分をスキップすることで、メモリ消費量とレイテンシを抑制する専用カーネルとして動作する。
4. 展望・課題（Next）
- 実用システムへの統合とベンチマーク検証: スパース Transformer 以外の基礎研究プロジェクトは PyTorch や JAX のドロップイン代替ではなく、既存手法と精度やエネルギー効率で同等以上を示せるかの検証が今後のマイルストーンとなる。