Marigold V2: Diffusion Transformer を用いた単眼深度推定──KITTI や ETH3D で AbsRel が 16-26% 向上

論文概要

単眼深度推定は、単一の画像から各画素の奥行きを推定するコンピュータビジョンの中核的タスクであり、ロボティクスや3Dシーン再構築において広く利用されている。しかし、従来のモデルは未見のドメイン（out-of-distribution）に対する汎化性能や、細部がシャープな深度マップの生成に課題を抱えていた。本論文では、現代の画像生成・編集モデルを転用する手法である「Marigold」を再検証し、Diffusion Transformer（DiT）アーキテクチャを用いた単眼深度推定の新たなアプローチ「Marigold V2」を提案している。KITTIおよびETH3Dベンチマークにおいて、既存の最良手法と比較してAbsRel（絶対相対誤差）が 16-26% 向上したことを示した。

新規性と貢献

本研究の主要な貢献は、ナイーブな学習時に発生するアーティファクトの原因を特定し、それに対する2つの効果的な改善策を導入した点にある。1つ目は、モデルの内部表現をグラウンドトゥルースから抽出された意味的特徴（semantic features）にアライメントする手法である。2つ目は、新規の Sinkhorn ベースの損失関数を中心とした2段階ファインチューニングプロトコルの採用である。これにより、未見データに対する高い汎化性能と、毛皮や木の葉、髪の毛ほどの細いエッジを正確に捉えるシャープな深度マップの生成を両立している。

提案手法の詳細

Marigold V2 では、事前学習済みのマルチステップ・フロースマッチングモデルからシングルステップ（単一ステップ）で推論を行うレシピをターゲットにしている。必要に応じて量子化を適用することで、モデルの表現力を維持しつつ高速かつ低コストな実行を可能にしている。設計の核心は、単なるピクセル値の誤差最小化にとどまらず、Sinkhorn 距離に基づく最適輸送の枠組みを利用した損失関数を導入したことにある。これにより、空間的な構造とエッジの整合性が強制され、従来の深度推定で問題となっていたぼやけた出力を抑制している。

評価・考察

評価実験では、KITTIおよびETH3Dベンチマークにおいて、従来の手法と比較して AbsRel（絶対相対誤差）で 16-26% の改善を達成した。定性的な評価においても、従来のモデルでは捉えきれなかった毛皮、樹木の葉、髪の毛のような微細なエッジの描写において優れた性能を示している。さらに、単眼深度推定だけでなく、法線推定（surface normals estimation）や画像分解（intrinsic image decomposition）といった他の密な回帰タスク（dense regression tasks）に適用した際にも最先端の結果を達成しており、汎用性の高さが実証されている。

応用例と今後の展望

実務的なインパクトとして、ロボティクスの環境認識や自動運転における3D空間把握、さらには computational photography（コンピュテーショナルフォトグラフィー）分野での被写界深度制御などの高度化が挙げられる。特に、ロボティクスや車載エッジデバイスの開発において、少数の量子化モデルとシングルステップ推論による高速性を活かしたリアルタイム3Dセンシングの実装において、開発者は本手法の導入を検討すべきである。今後の課題としては、さらなる推論の高速化と、多様な実世界環境におけるロバスト性の検証が残されている。

結論

Marigold V2 は、Diffusion Transformer とフロースマッチングモデルを基盤とした単眼深度推定において、Sinkhorn ベースの損失関数と2段階ファインチューニングにより、従来手法の限界を突破した。未見データへの高い汎化性能と微細なエッジの再現性を両立し、他の密な回帰タスクへの拡張性も示している。

注釈

Diffusion Transformer (DiT): Transformer アーキテクチャを拡散モデルのバックボーンに応用したモデル構造。
AbsRel: Absolute Relative Error。予測深度と真値の相対的な誤差を表す評価指標。
Sinkhorn 距離: 最適輸送問題において、エントロピー正則化を加えて高速に計算できるようにした距離尺度。