AWS、推論基盤ツール Ray Serve DLC を公開──TorchServe のサポート終了に伴う移行パスを提供
公式サポートが終了した TorchServe の代替として、CUDA スタックと PyTorch、Ray Serve を同梱した AWS Deep Learning Containers を提供し、インフラ運用の依存関係管理コストを大幅に削減する。
リリース: 2026-09-09 · 読了 3 分記事の要約
1. 核心（What）
- AWS は TorchServe のサポート終了に対応するため、推論基盤向けの Ray Serve Deep Learning Containers (DLC) を新たに公開した。
- CPU 版は Amazon Linux 2023、GPU 版は NVIDIA Amazon Linux 2023 をベースイメージとして採用している。
- PyTorch、Ray Serve、FastAPI、Uvicorn、およびハードウェアアクセラレーション済み FFmpeg があらかじめ同梱されている。
- Amazon EKS、Amazon EC2、Amazon SageMaker 向けにそれぞれ最適化されたイメージタグが提供されている。
2. 影響（Why）
- TorchServe 終了に伴う依存地獄の回避: TorchServe の保守停止により、開発チームは CUDA や PyTorch のバージョン整合性や脆弱性パッチを自前で追う必要がなくなるため、インフラの維持工数をコアなモデル開発に振り向けられる。
- 国内 SaaS におけるコンテナ運用の標準化: [国内 AI プラットフォーム受託開発・SaaS 運営企業] のような中規模開発チームは、AWS が事前検証した DLC を採用することで、カスタム Dockerfile のビルドやバージョン競合のデバッグ工数を 3 割以上削減できる。
3. 根拠・詳細（How）
- コンポーネント統合とバージョン固定: CUDA ランタイム、PyTorch、Ray Serve、Transformers の各レイヤーをビルド時に事前検証し、バージョン競合を防ぐ設計を採用。
- ConfigMap による設定の分離: qwen_serve.py のサービングロジックを Kubernetes の ConfigMap 経由でコンテナ内に注入し、イメージを再ビルドせずにエンドポイントのコードを柔軟に変更可能。
4. 展望・課題（Next）
- マルチノード分散推論への拡張: 単一ノード構成から複数ノードでのモデル並列化やオートスケーリングへ移行する際は、KubeRay を組み合わせた構成への拡張が予定されている。