Token Time Continuous Diffusion：トークンごとの時間制御で高速生成時の精度を維持

論文概要

本論文では、言語生成における拡散モデルの新たなアプローチとして「Token Time Continuous Diffusion (TTCD)」を提案している。従来の離散空間での反復的なサンプリングに伴う精度低下を回避するため、連続空間でガウスノイズからトークンキャンバスへ決定論的にマッピングを行う。最大の特徴は、各トークンがノイズから生成されるまでの速度を個別に制御する「per-token times」という概念を導入した点にある。

関連研究

既存の拡散モデルは、離散空間での反復的なサンプリングに依存しており、これが高速化時の精度低下の主因となっている。本研究は、連続空間でのモデリングを導入することで、このボトルネックを解消しようとするものである。

新規性と貢献

1. 連続空間モデリング: 複数のトークンを並列サンプリングする際の不正確さを排除した。
2. per-token times: トークンごとに生成速度を動的に変化させることで、条件付き生成における精度を向上させた。
3. 実証結果: 160Mパラメータのモデルにおいて、OpenWebTextおよびSudokuパズルでの評価を行い、高速化時において既存の同規模モデルを上回る性能を示した。

提案手法の詳細

TTCDは、ガウスノイズから最終的なトークンキャンバスへ決定論的に写像を行う。ここで重要なのは、全てのトークンを一律に処理するのではなく、確信度の高いトークンを優先的に高速で生成させる仕組みである。これにより、生成プロセス全体を通してトークン間の相互作用をより精密に調整可能となった。

評価・考察

160Mパラメータのモデルを用いた実験では、高速化（high speedups）環境下において、無条件生成では既存手法と同等の品質を維持し、条件付き生成においては既存手法を上回る結果を得た。また、Sudokuパズルの解法においても同様の性能向上を確認している。

応用例と今後の展望

本手法は、生成速度と品質のトレードオフが厳しいリアルタイムアプリケーションにおいて有効である。特に、日本の製造業における自動レポート生成や、複雑な制約条件を伴うパズル・論理推論タスクにおいて、計算リソースを最適化しつつ推論精度を確保する手段として活用できる。今後は、より大規模なモデルへの適用と、多様なドメインへの汎用性の検証が求められる。

結論

TTCDは、連続空間での拡散とトークンごとの動的な時間制御を組み合わせることで、高速推論時の言語モデルの精度限界を押し上げた。離散的な反復処理を必要としない設計は、次世代の効率的なLLM推論基盤として機能する。

注釈

• Diffusion Model: ノイズからデータを生成する確率的モデル。近年、画像生成だけでなく言語モデルへの応用が研究されている。
• per-token times: 各トークン生成に対して個別の時間軸を割り当てることで、生成の優先度や進行速度を最適化する手法。