Apple、MIPS 高速化モデル「Amortized MIPS」を公開──ニューラルネットによる近似で検索コストを削減
クエリの分布を学習し、SupportNet と KeyNet を用いて MIPS の最適解を直接回帰することで、BEIR ベンチマークにおける検索効率を改善した。
リリース: 2024-06-20 · 読了 3 分記事の要約
1. 核心（What）
- Apple が MIPS (最大内積探索) を効率化する「Amortized MIPS」手法を提案。
- SupportNet (入力凸ニューラルネット) と KeyNet (ベクトル回帰ネットワーク) の 2 モデルを開発。
- BEIR ベンチマークにおけるドキュメント埋め込み検索で、FLOPs や壁時計時間あたりのマッチ率を向上させた。
- 実装コードを GitHub にて公開。
2. 影響（Why）
- 検索パイプラインの計算負荷削減: RAG におけるベクトル検索のボトルネックである MIPS を、ニューラルネットによる近似で事前計算・回帰することで、推論時の計算リソースを節約する。
- 国内 SaaS 開発への影響: 大規模な検索インデックスを抱える国内の Vertical SaaS 事業者は、既存のインデックスパイプラインを維持しつつ、KeyNet をクエリの前処理として導入することで、検索レイテンシを抑制できる。
3. 根拠・詳細（How）
- モデルアーキテクチャの設計: SupportNet は入力凸ニューラルネット (ICNN) を用いて MIPS 値関数を回帰し、KeyNet は最適キーを直接回帰する。SupportNet はデータベースのクラスタルーティングに、KeyNet は既存のインデックスパイプラインへの入力として活用可能。
- ベンチマーク検証: BEIR ベンチマークを用いて、FLOPs、プローブ数、および壁時計時間で評価を実施。IVF (Inverted File Index) 検索において、従来手法比で検索効率の優位性を確認した。
4. 展望・課題（Next）
- 適用範囲の拡大: 現在は固定されたキーデータベースと既知のクエリ分布を前提としているため、動的なデータ更新環境への適応が今後の課題となる。