tryai、LLM 描画ベンチマークツールを公開──4 モデルの推論能力とコストを比較
GPT-5.6 Sol や Claude Fable 5 など 4 モデルを使い、色鉛筆ツールセットを用いた描画タスクで推論コストと修正精度を実測した。
リリース: 2026-07-21 · 読了 5 分記事の要約
1. 核心（What）
- GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash の 4 モデルを対象に描画タスクを実施
- 色鉛筆ツール（色、太さ、圧力設定、消しゴム、キャンバス確認）を各モデルに提供
- モナ・リザとゴッホの星月夜をターゲットとし、計 28 回の描画プロセスを評価
- 各モデルが view_canvas を呼び出して自己修正を行うプロセスを追跡
2. 影響（Why）
- ベンチマークの限界突破: 静的なベンチマークスコアと異なり、モデルが試行錯誤を繰り返す動的なタスクを通じ、 frontier モデルとオープンウェイトモデルの実行能力の差を可視化できる。
- 国内 SaaS のコスト最適化: Claude Fable 5 のような高コストモデルが必ずしも描画精度で優位ではないことが示された。中規模の画像生成・エージェント機能を開発する国内事業者にとって、タスクごとの推論コスト対効果を見直す重要な指標となる。
3. 根拠・詳細（How）
- 描画ツールセットの仕様: plan、view_target、view_canvas、set_color/brush/pressure、draw の計 8 つのツールを定義。塗りつぶし機能は排除し、ストロークの重ね合わせによる色とトーンの構築を強制する仕様。
- 推論コストと精度のトレードオフ: Claude Fable 5 は他のモデルと比較して推論時間が長くコストも高い一方、描画出力の品質が GPT-5.6 Sol を下回るケースを確認。タスクの性質に応じたモデル選定の必要性が浮き彫りとなった。
4. 展望・課題（Next）
- Kimi K3 の追加検証: 現在はオープンウェイトモデルの描画性能が極めて低いが、Kimi K3 が完全にオープンソース化された段階で再評価を行う予定。