Apple、Diffusion Transformers の外れ値トークン制御手法 Dual-Stage Registers を発表
Representation Autoencoder-DiT パイプラインにおける外れ値表現と局所パッチのセマンティクス破損を解消し、生成品質を安定させる手法を提案した。
リリース: 2025-09-22 · 読了 3 分記事の要約
1. 核心（What）
- Apple ML Research は、Diffusion Transformers (DiTs) における外れ値トークンの発生メカニズムと生成品質への影響を検証した。
- Representation Autoencoder (RAE)-DiT パイプラインの事前学習済み ViT エンコーダーおよびデノイザーの中間層で高ノルムの外れ値トークンが確認された。
- 単なる高ノルム値のマスキングでは性能が改善しないことから、局所パッチのセマンティクス破損が原因であると特定した。
- エンコーダーとデノイザーの両コンポーネントに対してレジスタベースの介入を行う Dual-Stage Registers (DSR) 手法を導入した。
2. 影響（Why）
- 局所パッチセマンティクスの保護: 単なる値のマスキング処理ではパッチ情報の欠損を補えず生成品質が低下するため、レジスタを用いた構造的介入が不可欠であることを示した。
- DiT 安定化の新しい選択肢: [国内 画像生成 SaaS 業種] のような実サービスで商用モデルを運用するエンジニアは、外れ値アーティファクト起因の画質破綻を防ぐ実装上の有力な改善策となる。
3. 根拠・詳細（How）
- Dual-Stage Registers (DSR) の構成: 利用可能な場合はトレーニング済みレジスタ、それ以外では再帰的テスト時レジスタ、さらにデノイザー向けに拡散レジスタを適用する 2 段階のレジスタベース介入機構を採用。
- 評価環境と検証範囲: ImageNet ベンチマークおよび大規模テキストからの画像生成 (text-to-image) パイプラインを用いて、外れ値アーティファクトの削減効果と生成品質の向上を検証。
4. 展望・課題（Next）
- 多様な DiT アーキテクチャへの拡張: PixArt や MMDiT などの異なるテキスト条件付け戦略を持つ DiT バリアントに対する DSR の汎用性検証が進められる見通し。