TheoLeeCJ、エージェント SDK OpenJev を公開──トークン生成スキップで判断処理を 5.21 倍高速化
Qwen3.5-4B を用いて型付きオプションのロジットを直接スコアリングし、JSON の生成やパース処理を省くことでエージェントの意思決定を効率化する。
リリース: 2026-09-18 · 読了 3 分記事の要約
1. 核心（What）
- Theo Lee 氏が、TypeSafe の Jev 決定サービスをオープンな 4B モデルで再現したオープンソースプロジェクト「OpenJev」を公開した。
- フォワードパスで型付きオプションのロジットを直接読み取ることで、テキスト生成や JSON のパース処理を回避する。
- 21 個の二値判断基準において、コンパクトな JSON 配列の生成と比較して 5.21 倍の高速化を達成している。
- ライセンスは MIT で提供され、リポジトリ（TheoLeeCJ/SemIf）やブラウザ向けの WebGPU デモが公開されている。
2. 影響（Why）
- JSON パースの廃止による遅延削減: テキスト生成やパースエラーの修復に依存しないため、ルーティングやリトライ判定といった頻繁なエージェントの意思決定を低遅延で実行できる。
- ローカル GPU でのコスト効率: 単一の RTX 3090 で動く 4B モデルをベースにしているため、クラウド API に依存せずエージェントの判定基盤を安価に構築できる。
3. 根拠・詳細（How）
- ロジットの直接読み取り機構: 各決定に対してフォワードパスを 1 回実行し、宣言されたオプションに割り当てられたロジットを直接取得して確率スコアを出力する。
- 並列プレフィックスの再利用: 777 決定のワークロードにおいてプレフィックスの共有処理を適用し、秒間 20 決定のスループットを維持する設計。
4. 展望・課題（Next）
- モデルおよび学習プロセスの非公開部分: Jev の開発者向けインターフェースは再現しているものの、独自モデルの全容や訓練プロセスは未公開であり、今後の更新が注目される。