Cohere、2.4B の視覚言語モデル North Micro Vision Instruct を公開──A4 文書を縮小なしで直接読み取り DocVQA 0.921 を記録
A4 サイズの文書画像をネイティブ解像度で直接処理し、商用利用可能な Apache 2.0 ライセンスで公開された軽量 VLM。
リリース: 2026-08-12 · 読了 3 分記事の要約
1. 核心（What）
- Cohere が 2.4B パラメータの視覚言語モデル North Micro Vision Instruct を Apache 2.0 で一般公開した
- 最大 1654x2339px の画像をリサイズなしのネイティブ解像度で入力可能とし、細部やレイアウトの潰れを防止する
- DocVQA ベンチマークで 0.921、RefCOCO で 0.732 のスコアを記録し、Gemma-4-E2B や Phi-3.5-vision を凌駕した
- 400M のカスタムビジョンエンコーダーと 2B の North Micro LLM を組み合わせ、DeepStack 式のプロジェクターで特徴量を統合する
2. 影響（Why）
- OCR 前処理の限界を突破: 従来モデルは入力を強制的に 224px や 336px にリサイズするため細かい文字が消えていたが、ネイティブ解像度により法的文書や財務表の読み取り精度が向上する。
- ローカル環境への容易な統合: 2.4B という小規模なパラメータ数により、国内のオンプレミスや閉域網環境での運用コストを抑えつつ実用的なドキュメント VLM を組み込める。
3. 根拠・詳細（How）
- ハイブリッド注意機構の採用: ローカルな文脈を維持する 3 つのスライディングウィンドウ注意レイヤーと、大域的な情報伝播を行う 1 つのグローバル注意レイヤーをインターリーブしてメモリ消費を抑制する。
- DeepStack 式プロジェクター: 複数レイヤーの視覚エンコーダーから得られたパッチ埋め込みを LLM の初期レイヤーに直接注入し、多段階の抽象度で視覚表現を言語モデルへ伝達する。
4. 展望・課題（Next）
- エコシステムの拡張予定: Transformers のソースコードからの導入が即座に可能となっており、今後は vLLM サポートおよび Ollama・llama.cpp 用の量子化版が順次提供される。