Liquid AI、小型モデルの端末上評価ベンチマーク LFM2.5 を公開──iPhone 17 Pro での実効速度とメモリ消費を検証
Artificial Analysis との共同検証により、4-bit 量子化・16K コンテキスト制限下での実機動作を測定し、クラウド評価と異なる実用上の優位性を明らかにした。
リリース: 2026-08-24 · 読了 3 分記事の要約
1. 核心（What）
- Artificial Analysis と Liquid AI が、iPhone 17 Pro や Galaxy S26 Ultra 等の実機上で 4-bit 量子化モデルをテストする共同ベンチマークを公開した。
- 16K コンテキスト制限の下、Nanbeige4.2-3B と LFM2.5-2.6B が平均スコア 63 でトップに並んだ。
- LFM2.5-2.6B はメモリ消費 2.3 GB、応答速度 8.0 秒を記録し、9B クラスのモデルと比較して高い効率性を示した。
- 60 秒の生成時間制限を設けたテストでは、LFM2.5-8B-A1B がスコア 47 で首位に立った。
2. 影響（Why）
- 実機制約を反映した評価軸の確立: クラウド上の高精度スコアに依存せず、4-bit 量子化や 16K のメモリ制限下での実用性を数値化したことで、モバイルアプリへの組み込み判断基準が明確になる。
- 国内モバイル SaaS への影響: [国内 スマホ向け AI アプリ開発企業] のような中規模事業者は、9B 級の重量級モデルではなく、LFM2.5-2.6B のような 2.3 GB 帯で動くモデルを前提にオンデバイス機能の設計を再評価すべき局面に入った。
3. 根拠・詳細（How）
- llama.cpp による同一条件での実機計測: iPhone 17 Pro と Galaxy S26 Ultra を用い、4-bit 以下に量子化された同一のアーティファクトを llama.cpp 経由で稼働させて検証した。
- 5 つの評価スイートによる性能測定: BFCL（ツール呼び出し）、IFBench（指示追従）、AA-Omniscience（知識・ハルシネーション）、GPQA Diamond（科学推論）、MATH-500（数学）の 5 指標でスコアを算出した。
4. 展望・課題（Next）
- オープンソースのベンチマークアプリ: 評価用ハーネスである Pipette が GitHub でオープンソース公開されており、 iOS / Android アプリを使って自社ハードウェアでの検証が可能。