Apple、VLM 推論フレームワーク LensVLM を公開──画像圧縮下で 10.1 倍の効率化を実現
テキストを画像として処理する際の解像度問題を、必要な領域のみを選択的に高解像度展開する手法で解決し、Qwen3.5-9B-Base ベースで精度を維持した。
リリース: 2019-12-11 · 読了 3 分記事の要約
1. 核心（What）
- Qwen3.5-9B-Base を基盤とし、圧縮された画像入力から必要な箇所のみを再展開する推論フレームワーク LensVLM を提案。
- 4.3 倍の圧縮率でフルテキスト入力と同等の精度を維持し、最大 10.1 倍の圧縮率で既存の視覚・テキスト圧縮手法を上回る性能を確認。
- 7 つのテキスト QA ベンチマークおよびマルチモーダルな文書・コード理解タスクにおいて精度向上を達成。
2. 影響（Why）
- 推論コストの劇的な削減: トークン列の長さを画像圧縮で代替し、必要な箇所のみを動的に展開するため、長文脈処理の推論コストを大幅に抑制できる。
- 国内 SaaS への実装影響: ドキュメント解析を行う国内の Vertical SaaS 事業者は、高解像度画像をそのまま入力する従来手法から、本手法への切り替えで推論レイテンシを 1/5 以下に短縮できる。
3. 根拠・詳細（How）
- 選択的コンテキスト展開: 学習済みのツールを用いて、圧縮画像から関連性の高い領域を特定し、その部分のみを元の解像度へ展開するパイプラインを実装。
- 検証環境とベースモデル: Qwen3.5-9B-Base をベースモデルに採用し、7 つのテキスト QA ベンチマークを通じて、圧縮率 10.1 倍までの精度劣化を既存手法と比較検証。
4. 展望・課題（Next）
- 展開戦略の最適化: レンダリングされたテキストにはテキスト展開を、レイアウト情報が重要な文書には高解像度画像展開を優先する使い分けを推奨。