Apple、データカタログ自動注釈アーキテクチャ Glyph を発表──NDCG@10 を 0.55 から 0.92 へ向上
企業データレイクのスキーマドキュメント負債に対し、パイプラインのソースコードと 275 葉のオントロジーを組み合わせたマルチエージェント型 RAG システムを実装した。
リリース: 2022-02-02 · 読了 3 分記事の要約
1. 核心（What）
- Apple の研究チームは、カラム説明文生成と分類を協調させるマルチエージェント型システム Glyph を発表した。
- Descriptor はエンタープライズ GitHub のソースコードからパイプライン情報を取得し、コードベースで説明文を生成する。
- Tagger は 275 葉の Data Classification Ontology を用いて、3 つの相補的な戦略を並列実行し RRF で融合する。
- 6 層の MiniLM メタデータエンコーダーを対照学習（Contrastive Objective）により最適化し、同タグ検索精度を大幅に引き上げた。
2. 影響（Why）
- ガバナンス運用の自動化: 数千規模のデータレイクを持つ大規模組織（[金融・EC のデータ基盤部門]を想定）において、人間による手動ドキュメント作成のボトルネックを解消できる。
- ソースコード直結型 RAG: テーブルの値に依存せず、生成元コードをグラウンディングソースとするため、機密データの内容を推論器に渡さずに安全なアノテーションが可能になる。
3. 根拠・詳細（How）
- 対照学習による MiniLM の最適化: バッチ内対照損失を用いたファインチューニングにより、保持評価スプリットでの NDCG@10 が 0.55 から 0.92 へ向上した。
- マルチ戦略の RRF 統合: 説明タガー、LOB 正規表現、ベクトル DB 検索の 3 出力を Reciprocal Rank Fusion によりランク統合し、高精度なマルチラベル付与を実現した。
4. 展望・課題（Next）
- 実運用環境でのスケーラビリティ検証: 数百万カラム規模の超巨大データレイクに対する推論コストとオーケストレーションの安定性の検証が今後の課題となる。