マルチモーダル対話モデル Gander──Cerebellum-Brain 構造によるリアルタイム全二重エージェントを実現

論文概要

本論文では、マルチモーダル知覚、リアルタイムインタラクション、エージェント機能を単一のフレームワークに統合したエンドツーエンドモデル「Gander」を提案している。従来のターン制パラダイムとは異なり、ビデオ・音声・テキストなどのストリーミング入力を継続的に受け取り、日常会話や複雑なワークフローにおいて自然な全二重（フルデュプレックス）インタラクションを実現する点が特徴である。

関連研究

これまでの音声・マルチモーダルモデルの多くは、ユーザーの発話終了を待ってから処理を行うターン制が主流であった。リアルタイム性を謳うモデルでもエージェントの推論能力や複雑な文脈理解との両立が難しく、割り込み処理や継続的なストリーミング処理に課題があった。本研究は、知覚・即時応答と、高次推論・エージェント制御を分業させることでこの課題を克服している。

新規性と貢献

Gander の最大の貢献は、ストリーミングベースのリアルタイム応答と、ツール呼び出しを伴う高度なエージェント的推論を単一のフレームワークでシームレスに統合した点にある。ユーザー側からの任意の割り込みや、モデルからの能動的な中間フィードバックの提供が可能となり、実世界での頑健なインタラクションを実現した。

提案手法の詳細

Gander は主に 2 つのアーキテクチャ設計を採用している。1 つ目は「Cerebellum-Brain 協力フレームワーク」であり、Cerebellum（小脳）がリアルタイムインタラクションとオムニ会話能力を担当し、Brain（脳）が複雑な推論と高次エージェントタスクを処理する。両者はツール呼び出しとエージェントオーケストレーションランタイムを通じて常時連携する。2 つ目は、Cerebellum に採用された「ストリーミング Thinker-Talker アーキテクチャ」である。ユーザー入力とモデル出力をチャンクレベルで順序付きトークンストリームにフラット化し、低遅延で連続的なインタラクションのための統一表現を提供している。

評価・考察

会話能力、オムニ理解、インタラクティブ能力、エージェント知性の 4 つの次元で包括的な評価を実施している。内部の人間評価において、Gander は既存のオープンソース SOTA モデルの自然かつ表現力豊かな音声対話能力を維持しつつ、オムニインタラクションにおいて同等以上の性能を達成していることが示されている。また、背景雑音の干渉、マルチパーティ対話、バックチャネルコミュニケーションなどの困難な実世界シナリオに対しても頑健性を実証している。

応用例と今後の展望

実世界での応用として、カスタマーサポートやアシスタントロボット、複数人でのブレインストーミング支援など、リアルタイムな割り込みやビデオ・音声の同時処理が求められる分野への適用が考えられる。日本の音声テック・組込みエンジニアやカスタマーサービス領域の開発者にとって、遅延の少ない全二重音声・映像対話システムのアーキテクチャ設計において直接的な実装上の示唆を与える。

結論

Gander は、オムニ知覚、リアルタイム全二重対話、エージェント機能を「Cerebellum-Brain」および「Thinker-Talker」の構造によって統合した。オープンソースとしてのモデル、コード、データの公開により、今後のインタラクティブ AI 研究の加速が期待される。

注釈

• 全二重（フルデュプレックス）: 送信と受信を同時に行える通信方式。AI の文脈では、ユーザーが話している最中でもモデルが発話したり割り込みを認識したりできる対話方式を指す。