Fastino、340M パラメータの構造化分類モデル GLiNER2.5-Decide を公開──1B 級モデルを凌駕するエージェントルーティング性能
DeBERTa-v3-large をベースにした 340M のオープンウェイト分類器で、17 ドメイン平均で 60.1% の精度を記録し 4B 級ベースラインを上回った。
リリース: 2026-09-25 · 読了 3 分記事の要約
1. 核心（What）
- Fastino は構造化分類タスク向けに 340M パラメータのオープンウェイトエンコーダー GLiNER2.5-Decide をリリースした。
- 17 ドメインの評価スイートにおいて平均 60.1% の精度を達成し、4B 規模の Qwen ベースラインを凌駕した。
- V100 GPU で 38.3 ms、48-vCPU CPU 環境で 167.3 ms の P50 レイテンシを記録した。
- Apache 2.0 ライセンスのもと提供され、CPU 単体やエアギャップ環境での実行に対応する。
2. 影響（Why）
- ルーティング処理のコスト最適化: エージェントの分岐判断に数億〜数十億パラメータの LLM を占有させるコストが不要になり、推論レイテンシとインフラ費用を同時に劇的に削減できる。
- ローカル・セキュア環境への適合: 外部 API を呼び出さずにローカル CPU 単体で動くため、機密情報を扱う国内のオンプレミス環境や閉域網 RAG パイプラインにそのまま組み込める。
3. 根拠・詳細（How）
- DeBERTa-v3-large バックボーン: gliner2-large-v1 をベースにファインチューニングされ、入力全体を単一のエンコーダーパスで処理することでトークンごとの逐次生成を回避している。
- コール時可変のフリーフォームラベル: リクエストごとにタスクと自由形式のラベルスキーマを提示し、再学習なしで分類先カテゴリを動的に変更できる仕組みを採用している。
4. 展望・課題（Next）
- 大規模エージェントへの統合: 複雑なツールチェーンやマルチステップ・エージェントのルーティング層への実戦投入と、さらなるスループット検証が進められる予定。