Sesame、音声 AI 会話評価ベンチマーク TurnBench を公開──Gemini Live や OpenAI Realtime の課題を検証
音声 AI の発話交替タイミングを測るオープンベンチマーク TurnBench が公開され、現行の商用モデルやフルデュプレックスモデルがいずれも人間の応答リズムに追いついていないことが実証された。
リリース: 2026-08-28 · 読了 4 分記事の要約
1. 核心（What）
- Sesame は音声対話モデルの発話交替のタイミングを評価するオープンベンチマーク TurnBench を公開した。
- 本ベンチマークは 30 時間のスタジオ録音音声コーパスを含み、偽陽性率 0.15 の制限下でモデルの検出リコールと遅延を評価する。
- Gemini 3.1 Live や OpenAI Realtime を含む 14 システムが評価され、現行の商用システムがいずれも人間のような動的なリズム判定に課題を抱えていることが示された。
- 訓練用データセットとして 104 時間の otoSpeech が Hugging Face に、スコアラーが GitHub にそれぞれ非商用ライセンスで提供されている。
2. 影響（Why）
- 実用的な会話リズムの欠如: 従来の VAD ベースでは人間の 200ms 以内の応答予測リズムに対応できず、商用音声モデルでも割り込みや沈黙の判定に限界があることが露呈したため。
- 国内音声プロダクトへの示唆: 国内の音声対話 SaaS 企業は、単なる音声合成や認識の精度だけでなく、発話交替の遅延を自社プロダクトの KPI として再定義する必要に迫られるため。
3. 根拠・詳細（How）
- 検証コーパスとアノテーション: 30 時間の二者間英語音声対話、154 ダイアログ、106 人の声優による収録データを 3 名の注釈者が Fleiss' kappa 0.78 の合意度でアノテーションした。
- スコアリングと指標の仕様: End-of-Turn 検出と Interruption 検出の 2 トラックで構成され、偽陽性率を 0.15 以下にキャップした上で、10th・50th・90th パーセンタイルの署名付き遅延ミリ秒で評価する。
4. 展望・課題（Next）
- 多言語対応とノイズ環境への拡張: 現行の TurnBench は英語のスタジオクリーン環境に限定されているため、言語ごとのリズムの差異や実環境の雑音に対するロバスト性の検証が今後の課題となる。