Liquid AI、オンデバイスモデル評価ベンチマークスイート Pipette を公開──30以上のモデルと4端末の実行性能を網羅
量子化やランタイム、デバイス構成の組み合わせが実機性能に与える影響を 1 万件以上の検証データで可視化する。
リリース: 2026-08-24 · 読了 3 分記事の要約
1. 核心（What）
- Liquid AIとArtificial Analysisは、オンデバイスモデルの性能を評価するオープンソースのベンチマークスイート「Pipette」を公開した。
- 30以上のモデル、7種類の量子化、4種類の端末（iPhone 17 Pro、Galaxy S26 Ultraなど）を網羅し、1万件以上の検証データを収録している。
- 評価項目は品質、スループット、レイテンシ、メモリ消費量をカバーし、Apache 2.0ライセンスで公開されている。
- 再現性を担保するため、貪欲デコード（greedy decoding）、ウォームアップの除外、5回の測定繰り返し、サーマルチェック（温度・負荷制限）が導入されている。
2. 影響（Why）
- 実機デプロイ時の実効性能を正確に把握できる: サーバー側の高精度ベンチマーク結果とは異なり、スマホへの量子化モデル配置やコンテキスト長増大によるス低下・メモリ圧迫の実態を事前に確認できるため、オンデバイス AI の設計精度が上がる。
- 国内モバイルアプリ開発における検証コストの削減: [国内モバイルアプリ開発企業] などのチームは、自社アプリで想定する量子化・ランタイム・端末の組み合わせごとのレイテンシやメモリ消費を公開データから直接比較でき、検証工数を大幅に圧縮できる。
3. 根拠・詳細（How）
- 厳格な再現性プロトコルとパイプライン設計: pipette-mgmt（定義配信）、pipette-clients（実機推論実行）、pipette-scores（モデル盲検評価）の3コンポーネントに分離し、サーマルゲートで端末のサーマルスロットリングを排除して計測する。
- 実機における顕著な性能差の検証: Galaxy S26 Ultraを用いたQ4_K_M量子化の検証において、Granite-4.0-H-350Mは256〜4,096トークンでスループットの78.4%を維持する一方、Granite-4.0-350Mは33.8%にとどまるなどの詳細な挙動が確認されている。
4. 展望・課題（Next）
- NPUおよびAndroid GPU対応の拡張: 初期リリースでは一貫した比較が困難なため除外されたNPUサポートやAndroid GPUバックエンドの対応が今後の課題となる。
- コミュニティによるデータ拡張: iOSおよびAndroid向けネイティブアプリを利用した開発者自身のベンチマーク結果のコントリビューションにより、対応モデルや端末の網羅性を高める方針。