Transformer 学習において、正規化、活性化、残差接続などのメモリ律速（Memory-bound）な演算が、演算密度の高い GEMM 以外の実行時間の多くを占めている現状を指摘。

CODA は、これらの中間テンソルをグローバルメモリに書き出す前に、GEMM の出力タイルがオンチップ（SRAM/レジスタ）にある状態で処理を完結させる GPU カーネル抽象化である。

標準的な Transformer ブロックの順伝播および逆伝播における、Attention 以外のほぼすべての非線形演算をカバーする、構成可能なエピローグ・プリミティブ（縮約、変換、蓄積など）を提供。

人間および LLM が作成した CODA カーネルの両方で高いパフォーマンスを達成し、フレームワークの生産性とハードウェア効率の両立が可能であることを示した。

GPU の演算性能（FLOPS）向上に対しメモリ帯域の成長が追いつかない中、演算ごとにカーネルを分離する既存の設計はデータ移動のオーバーヘッドにより限界に達している。本手法を知らずに個別カーネルの最適化を続けても、システム全体の性能向上は頭打ちになる。

LLM によるカーネル生成（LLM-authored kernels）との親和性が高く、専門的な GPU プログラミングの知識がなくても、ハードウェアの限界に近い効率的な学習スタックを構築できる可能性がある。