Google Research、時系列予測モデル TimesFM 3.0 の PyTorch 版重みを公開──20 層 Transformer と Variate Attention 採用
Google Research が時系列予測モデル TimesFM の最新バージョン 3.0 公式 PyTorch 版重みと設定ファイルを Hugging Face にて公開した。
リリース: 2023-10-14 · 読了 3 分記事の要約
1. 核心（What）
- Google Research が時系列予測モデル TimesFM のバージョン 3.0 公式 PyTorch 版重みと設定ファイルを公開した。
- モデルアーキテクチャには 20 層の Transformer レイヤーを採用し、コンテキストパッチ長は 32、予測ホライズンパッチ長は 64 に設定されている。
- ライセンスには TimesFM Non-Commercial License v1.0 が適用されている。
- 直近 1 ヶ月間のダウンロード数が 105,304 件に達している。
2. 影響（Why）
- 商用利用の制限と評価コスト: TimesFM Non-Commercial License v1.0 が適用されるため、国内の需要予測システムを構築する事業者は社内検証に限定して評価を進める必要がある。
- PyTorch ネイティブ統合の利便性: 公式 PyTorch 重みが提供されたことで、既存の Python / PyTorch ベースの予測パイプラインへそのまま組み込みが可能となり、検証コストを大幅に削減できる。
3. 根拠・詳細（How）
- Stacked Mixing Transformer の構造: 20 層の Transformer レイヤー（モデル次元 1280、ヘッド数 16）に Variate Attention と CPM Iterative RevIN を組み合わせた時系列特化型アーキテクチャを採用している。
- パッチ長とデータセットの仕様: コンテキストパッチ長 32、予測ホライズンパッチ長 64 を設定し、GiftEvalPretrain や Wikipedia ページビュー（2023 年 11 月カットオフ）等のデータセットで事前学習が行われている。
4. 展望・課題（Next）
- 商用ライセンスの動向: 非商用ライセンスでの公開となっているため、今後の商用利用向けライセンス改定やエコシステムの拡充に注目が集まる。