Together AI、ファインチューニング基盤を拡張──GLM-5.3 や DeepSeek-V4-Flash に対応しトレーニング価格を最大 70% 削減
GLM-5.3 や DeepSeek-V4-Flash などの最新オープンモデルに対応し、Expert LoRA やライブメトリクス監視機能を追加した。
リリース: 2026-09-11 · 読了 3 分記事の要約
1. 核心（What）
- GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash を含む多数の最新オープンモデルのファインチューニングをサポートした。
- トレーニング中のメトリクスを API、CLI、UI ダッシュボード、Python SDK からリアルタイムで取得できる機能を追加した。
- MoE モデルのエキスパート層に直接 LoRA アダプターを適用する「Expert LoRA」と、検証ロスのプラトー検知による自動早期停止を実装した。
- gpt-oss 系列など対応モデルのトレーニング価格を 30% から最大 70% 引き下げた。
2. 影響（Why）
- エキスパート層のチューニング: 従来無視されていた MoE の専門家層を直接訓練できるため、既存の知識を維持しながら新知識の獲得率を大幅に引き上げられる。
- 国内 SaaS へのコスト影響: 国内のバーティカル SaaS 事業者は、フロンティア級オープンモデルの適応コストが最大 70% 下がることで、独自カスタムモデルの ROI を確保しやすくなる。
3. 根拠・詳細（How）
- Expert LoRA の仕組み: LoRA アダプターをアテンション層だけでなくエキスパート層にも付与し、MMLU-Pro ベンチマークで 75.3% を記録するなど混合専門家モデル全体を効率よく駆動させる。
- 検証ロスに基づく自動停止: 指定した検証セットのロスを各評価ステップで監視し、プラトーに達した時点で自動停止して最適チェックポイントを保持、未使用ステップ分を返金する。
4. 展望・課題（Next）
- データ処理プロセスの可視化: ブラックボックス化していたトークナイゼーションやパッキング処理の可視化機能が順次展開される予定。