リアルタイム対話を実現するオープン Vision-Language Model MOSS-VL──ストリーミングタスクで最高水準を記録

論文概要

MOSS-VL は、発話しながら同時に視覚情報を知覚するリアルタイムな双方向インタラクションを第一級の機能として据えた、オープンな Vision-Language Model ファミリーである。言語デコーダーがゲート付きクロスアテンション（gated cross-attention）を通じてのみ視覚情報にアクセスするスタック全体の共同設計により、モデルは生成を行いながら自然に入力フレームを認識できる。4 つのストリーミングベンチマークのうち 3 つでオープンソースモデル中の最高平均スコアを記録し、特に積極的な行動を検証する OmniMMI Proactive Alerting サブセットではベストなベースラインである 37.5 に対して 66.0 という圧倒的な数値を叩き出している。

関連研究

既存の Vision-Language Model は、主に静的な画像や事前の動画入力を処理するものが中心であり、ストリーミングデータにおけるリアルタイムな割り込みや積極的な発話タイミングの制御をネイティブでサポートしていなかった。本研究は、オフラインの強力な基盤を維持しつつ、ストリーミング固有の課題に対処するアプローチを提案する点で既存手法と一線を画す。

新規性と貢献

主要な貢献は、視覚トークンをデコード対象のシーケンス外に置くアーキテクチャの採用と、合成されたインタラクションコーパスによる「いつ話し、いつ沈黙し、いつ修正するか」の学習である。これにより、113 億パラメータの規模でありながら、視覚コンテキストが増大するにつれて同等のバックボーンを持つ Qwen3-VL-8B と比較した初出トークンまでの時間（time-to-first-token）のアドバンテージが 2.8 倍から 5.1 倍へと拡大している。

評価・考察

4 つのストリーミングベンチマークを用いた評価では、MOSS-VL-Realtime が 3 つのベンチマークで平均最高成績を収め、残る 1 つでも 2 位を記録した。とりわけプロアクティブな挙動を要求されるサブセットでは 66.0（最高ベースラインは 37.5）を達成し、リアルタイム割り込み制御における優位性が定量的に示されている。

応用例と今後の展望

ロボティクスやリアルタイムカスタマーサポート、自動運転アシスタントなどの分野において、視覚と音声のストリーミングを同時に処理するエッジ・クラウドアプリケーションへの応用が期待される。日本の組み込み AI・ロボット工学の領域において、数千〜数万規模のリクエストを処理するリアルタイム応答システムの構築において、推論レイテンシの大幅な削減とプロアクティブな対話制御を実現する重要な実装指針を提供する。

結論

MOSS-VL は、スタック全体の共同設計と段階的なカリキュラム学習により、ビジョン言語モデルにおけるリアルタイム・ストリーミング処理の精度とレイテンシのトレードオフを大きく改善した。全 5 種類のチェックポイントや学習カリキュラム、推論コードの公開により、今後のマルチモーダル研究の加速に貢献する。

注釈

• Gated cross-attention: アテンション機構にゲート制御を組み込み、必要なタイミングでのみ他モダシーの情報を取り入れる手法。
• OmniMMI Proactive Alerting: マルチモーダル対話システムにおける能動的な警告・発話のタイミングを評価するベンチマーク。