Artificial Analysis、推論劣化を暴く評価ベンチマークモデル Endpoint Accuracy Index を公開──API プロバイダ間の精度差を可視化
プロバイダ側の量子化やトークン上限により、同一モデルでも API 経由では自社ホスト版の半分の性能に落ちるケースがある実態を数値化した。
リリース: 2026-08-04 · 読了 3 分記事の要約
1. 核心（What）
- Artificial Analysis は、API プロバイダ経由で提供されるモデルの精度が自社ホストのリファレンス環境に対してどれだけ保持されているかを測る Endpoint Accuracy Index を発表した。
- 評価対象のベンチマークには tool calling (BFCL v4-500)、hard reasoning (HLE-250)、long-context recall (AA-LCR-25) の 3 種類が採用されている。
- gpt-oss-120b の検証では、ツールコール処理能力に大きなばらつきがあり、一部のエンドポイントではリファレンス配置の 37% に対して 22% のスコアを記録した。
- DeepSeek V4 Pro では多くのエンドポイントがリファレンスとパリティを維持しており、公式 API はリファレンスをわずかに上回るスコアを叩き出している。
2. 影響（Why）
- API 選択の前提崩壊: モデルのバージョンが同一でも、プロバイダの量子化やサンプリング設定によって実効精度が半減するため、コスト重視のプロバイダ選定基準が覆る。
- 国内 SaaS の品質リスク管理: [国内 AI アプリ開発企業] 規模の開発チームは、プロバイダ側のトークン上限やパース設定による推論中断を避けるため、独自ベンチマークでの検証フローを組まざるを得なくなる。
3. 根拠・詳細（How）
- リファレンス比較と信頼区間: 各モデルをセルフホストした環境を基準とし、プロバイダエンドポイントの精度をパーセンテージで算出。繰り返し検証による 95% 信頼区間を付与して統計的有意差を判定する。
- 評価カバレッジの仕様: 現時点で GLM-5.2、gpt-oss-120b、DeepSeek V4 Pro の 3 モデルがライブでカバーされており、Kimi K3 の追加が予定されている。
4. 展望・課題（Next）
- 対応モデルの順次拡大: Kimi K3 を皮切りに主要な商用・オープンウェイトモデルへカバレッジを拡張し、プロバイダ間の精度劣化マップの網羅性を高める。