Jina-OCR-v1: 3B MoE と Speculative Decoding で低予算 GPU でも最高スループット 2.57 ページ/秒を達成する文書解析モデル

論文概要

Jina-OCR-v1 は、低予算の GPU 環境でも効率的に動作するように設計されたエンドツーエンドの文書解析モデルである。DeepSeek-OCR の圧縮ビジョンエンコーダと 3B の Mixture-of-Experts (MoE) デコーダ（1 トークンあたり約 570M パラメータが稼働）を統合し、FastMTP による Speculative Decoding (推論加速手法) を導入している。デフォルトの動的解像度設定において、OmniDocBench v1.6 で 91.14、olmOCR-Bench で 83.4 のスコアを記録し、比較実験において最高値となる毎秒 2.57 ページのページスループットを達成した。NVIDIA L4 などの安価な GPU 上で、標準的な貪欲自己回帰デコーダと比較してデコード速度を 2 倍に向上させている。

関連研究

従来の文書解析・OCR モデルでは、高精度化に伴いモデルサイズや推論コストが肥大化し、コンシューマー向けや低予算のエッジ GPU での運用が困難であった。また、大規模なマルチモーダルモデルを文書解析に適用するアプローチもあるが、速度面や構造化データの抽出精度に課題が残っていた。本研究は、軽量な MoE アーキテクチャと Speculative Decoding を組み合わせることで、精度を犠牲にせずに推論効率の限界を突破している。

新規性と貢献

主な貢献は、効率的な 3B MoE デコーダと FastMTP スペキュラティブデコーディングの融合にある。単一のドラフトブロックを $K=3$ の予測ステップで再帰的に共有し、貪欲検証 (Greedy verification) を用いることでロスレス（精度劣化なし）な高速化を実現した点が高い新規性を持つ。さらに、決定論的な数式・表・構造チェックによる部分点を付与するグループ相対方策最適化 (GRPO) を用いた高密度検証報酬によるポストトレーニングにより、複雑な文書に対する頑健性を高めている。

提案手法の詳細

Jina-OCR-v1 は、DeepSeek-OCR 由来の圧縮ビジョンエンコーダと MoE デコーダを中核に据えている。推論の高速化を図るため、FastMTP と呼ばれるドラフトヘッドを採用し、1 つのドラフトブロックを $K=3$ の予測ステップにわたって再帰的に共有する設計を採用した。これにより、計算オーバヘッドを最小限に抑えつつ複数トークンの先読み生成を行い、貪欲検証によって出力の正確性を担保している。また、トレーニングデータには、クリーンアップされた公開コーパスとターゲットを絞った合成ページが混合されており、命令アライメントやロバストネス微調整が施されている。

評価・考察

評価実験では、OmniDocBench v1.6 で 91.14、olmOCR-Bench で 83.4 の高スコアをマークした。スループットの面では、比較対象の中で最速となる 2.57 pages/sec を記録している。NVIDIA L4 GPU 環境下において、FastMTP は通常の貪欲自己回帰デコーディングに対して速度を 2 倍に引き上げることに成功しており、メモリ帯域や計算資源が限られた環境における有効性が数値として証明されている。

応用例と今後の展望

低予算 GPU で動作する本モデルの実用化は、社内オンプレミス環境やコスト制約のあるクラウド環境でのドキュメントデジタル化プロセスに直接的なインパクトを与える。特に、金融・医療分野における非構造化文書（PDF やスキャンされた帳票など、年間数十万〜数百万ページ規模）の自動解析において、インフラコストを抑えた高速なデータパイプライン構築の選択肢となる。今後は、さらに多様な言語やレイアウトへの適応、およびエッジデバイスへの組み込み最適化が期待される。

結論

Jina-OCR-v1 は、3B MoE デコーダと可逆的な FastMTP スペキュラティブデコーディング、および高密度検証報酬を用いた強化学習を統合することで、文書解析における精度と処理速度のトレードオフを克服した。低予算 GPU で最高峰のスループットと高いベンチマーク性能を両立したことで、実務的なドキュメント処理システムのコストパフォーマンスを大きく引き上げるモデルと言える。

注釈

• Mixture-of-Experts (MoE): 入力ごとに適切な専門ネットワーク（エキスパート）の一部を選択して活性化させることで、パラメータ数を抑えつつ高い表現力を得るアーキテクチャ。
• Speculative Decoding: 軽量なドラフトモデルで複数トークンを高速に予測し、大型モデルで一括検証することで推論を高速化する手法。