Zenn、判定特化型 LLM 評価ベンチマークレポート公開──TypeSafe AI Jev の実効性能を検証
約 2.8 万リクエストの検証により、TypeSafe AI Jev のマルチ質問処理におけるレイテンシ特性や言語間精度差を明らかにした。
リリース: 2026-09-20 · 読了 5 分記事の要約
1. 核心（What）
- TypeSafe AI の判定特化型モデル jev-1.13.0 に対し、日英の公開データセット 3 本を用いて約 2.8 万件のリクエスト検証を実施した。
- 1 リクエストに 1 から 500 問の質問をまとめて送信し、レイテンシ、トークン消費量、および質問間干渉の有無を測定した。
- MASSIVE、PAWS-X、JSICK のデータセットを使用し、日本語と英語における精度差や confidence の信頼性を評価した。
- 選択肢の並び順変更や、説明文削除、不正な入力を混ぜた場合の挙動変化についても検証が行われた。
2. 影響（Why）
- 判定処理のコスト最適化: 入力トークン数が質問数によらず 1 回のみカウントされる構造のため、大規模な分類タスクのAPIコストを数分の一に圧縮できる。
- 国内 SaaS への実装指針: 日本語の処理精度にはタスクによる差があるため、国内向けチャットボットのインテント判定に導入する際は事前のベンチマーク検証が必須となる。
3. 根拠・詳細（How）
- HTTP Keep-Alive によるレイテンシ測定: TCP/TLS 接続を維持した状態で jev-1.13.0 を呼び出し、500 問に増やした場合でもサーバー側処理時間が 239ms に収まることを確認した。
- パレート最適とデータセット評価: MASSIVE、PAWS-X、JSICK の 3 データセットから抽出した各 500 ペアを用い、McNemar 検定を適用して統計的な有意差を算出した。
4. 展望・課題（Next）
- 誤答内訳の精査: PAWS-X で観測された日本語の精度低下について、データセット側の翻訳ブレを除外した厳密な誤答分析の実施が期待される。