BDH-CQ によるインコンテキスト学習と再帰的潜在推論──ARC-AGI-1 でコスト効率のパレートフロンティアを更新

論文概要

本論文では、インコンテキスト学習と再帰的潜在推論を統合した新しい推論モデル「BDH-CQ」が提案されている。推論時に入力されたデータはモデルの再帰的メモリを継続的に更新し、中間的な思考プロセスを言語化することなく高次元潜在空間での反復計算によってクエリを解決する。公開されている ARC-AGI-1 評価セットにおいて、150Mパラメータの構成で pass@2 29.5%、計算コストは 1 タスクあたり 0.0007 ドルを記録し、これまでの ARC-AGI-1 におけるコスト・精度パレートフロンティアを塗り替える成果を示した。

関連研究

従来の推論モデルや大規模言語モデルでは、思考プロセスを明示的なトークンとして逐次生成するアプローチ（Chain-of-Thought など）が主流であった。しかし、これらはトークン数に比例した膨大な計算コストやレイテンシの増大を招く課題があった。本研究は、トークンを明示的に出力しない再帰的潜在推論を採用することで、コストと精度のトレードオフを根本から覆す試みである。

新規性と貢献

最大の新規性は、言語化を伴わない高次元潜在空間での反復計算によって推論タスクを解く点にある。150Mパラメータという比較的小規模な構成でありながら、タスクあたりの計算コストを 0.0007 ドルに抑えつつ pass@2 29.5% を達成したことは、ベンチマークにおけるコスト効率の面で大きな貢献と言える。

提案手法の詳細

BDH-CQ は、インコンテキスト学習による適応性と再帰的な潜在状態の更新を組み合わせた設計を持つ。推論時に提示されたデモや入力はモデルの内部メモリに継続的に統合される。これにより、モデルは外部へ文字として中間ステップを書き出すことなく、潜在空間内で反復的な計算を実行して一貫した変換則を適用する。

評価・考察

評価には ARC-AGI-1 の評価セットが使用された。制御された ARC ライクな介入を用いた分析により、モデルがデモから何を学習し、推論された変換をどれほど一貫して適用できるかが検証されている。150Mパラメータ構成での pass@2 スコアは 29.5% であり、計算コストの劇的な削減と高い推論能力の両立が確認された。

応用例と今後の展望

本手法は、組込み環境やエッジデバイスなど計算リソースが極めて制限された領域において、低コストで高度な推論を行うアプリケーションへの応用が期待される。日本の組み込み AI や自動化システムの研究開発現場において、API コストを最小限に抑えた推論エンジンの設計を進める際の有力な選択肢となる。今後は、より複雑なドメインへのスケーリングや、潜在空間の解釈性の向上が課題となる。

結論

BDH-CQ は、インコンテキスト学習と再帰的潜在推論を融合させることで、ARC-AGI-1 においてコスト効率の新たな基準を確立した。言語化を伴わない潜在空間での反復計算というアプローチは、今後の効率的な推論モデルの設計に大きな影響を与える。

注釈

• ARC-AGI-1: 抽象推論・汎用人工知能ベンチマークの初期バージョン。
• pass@2: 2回試行したうちの少なくとも1回が成功する確率。