Hot3 min · LLM · Multimodal
Jina AI、マルチモーダル埋め込みモデル jina-embeddings-v5-omni 公開──テキスト性能を維持しつつ画像・音声を統合
既存のテキスト埋め込み空間を固定し、わずか 0.35% の追加学習で画像・音声・動画のクロスモーダル検索を可能にした。
The Facts
- 既存の Jina Embeddings v5 Text モデルをバックボーンとし、画像・音声エンコーダを接続する Frozen-tower 手法を導入。
- 学習対象を接続コンポーネントのみに限定し、全パラメータの 0.35% という極めて低い学習コストでマルチモーダル化を達成。
- テキスト入力に対する埋め込みベクトルは元の Text モデルと完全に一致するため、既存のテキストインデックスとの互換性を 100% 維持。
- 画像・音声・動画・テキストを単一のセマンティック空間に射影し、大規模なマルチモーダルモデルに匹敵する検索性能を記録。
Why It Matters
- 既存のテキスト RAG インデックスを 1 件も再生成することなく、画像や動画を検索対象に加えられる運用上のメリットが絶大である。
For Developers
開発者は既存のベクトル DB を維持したまま、エンコーダを差し替えるだけでマルチモーダル検索を実装できる。再インデックスに伴う計算リソースと時間の浪費がゼロになる。
For Japan
[国内 AI 検索 SaaS] や [製造業のナレッジ管理] を行うチームは、蓄積済みの膨大なテキスト資産の整合性を保ったまま、図面や現場音声の横断検索へ低コストで移行できる。