Sundial Base 128m

🚀 Sundial

Sundialは、生成型の時系列基礎モデルのファミリーです。このモデルは、点予測と確率予測の両方に対してゼロショット予測を行うことができます。ベースバージョンは、1兆の時系列ポイントで1億2800万のパラメータを持つ事前学習が行われています。詳細については、この論文を参照してください。

🚀 クイックスタート

pip install transformers==4.40.1 # このバージョンとPython 3.10を使用して、安定した互換性を確保します

import torch
from transformers import AutoModelForCausalLM

# 事前学習モデルをロード
# 異なる過去期間/予測期間の長さをサポート
model = AutoModelForCausalLM.from_pretrained('thuml/sundial-base-128m', trust_remote_code=True) 

# 入力を準備
batch_size, lookback_length = 1, 2880 
seqs = torch.randn(batch_size, lookback_length)

# なお、Sundialは複数の予測結果を生成することができます
forecast_length = 96 
num_samples = 20

output = model.generate(seqs, max_new_tokens=forecast_length, num_samples=num_samples)

# 生の予測結果を平均/分位数/信頼区間の推定に使用
print(output.shape) 

分位数や信頼区間の予測の詳細な例は、このノートブックに記載されています。

✨ 主な機能

• ゼロショット予測：点予測と確率予測の両方に対してゼロショット予測が可能です。
• 大規模事前学習：1兆の時系列ポイントで事前学習されたモデルです。
• 多様な評価指標：MSE、MAE、MASE、WQL、CRPSなどの指標で評価されています。

📦 インストール

pip install transformers==4.40.1 # このバージョンとPython 3.10を使用して、安定した互換性を確保します

📚 ドキュメント

ニュース

• 📢 ニュース (2025.05) GIFT-Evalベンチマークで1位のMASEを獲得しました。
• 📢 ニュース (2025.05) SundialがICML 2025 Spotlight (上位2.6%)として採択されました。
• 📢 ニュース (2025.02) Time-Series-Libraryデータセットで1位のMSE/MAEのゼロショット性能を達成しました。

全体アーキテクチャ

入力された時系列データはパッチトークンに分割され、元の連続値から埋め込まれます。パッチ埋め込みは、デコーダーのみのTransformerに入力され、トークン表現を学習する安定した高速化バージョンです。このモデルは、TimeFlow Lossというパラメータ化された損失関数を使用して最適化されます。この損失関数は、学習された表現に基づいて各トークンの確率分布をモデル化し、フローマッチングフレームワークの下で複数の妥当な予測を生成します。

評価

以下のベンチマークで性能を評価しています。

• GIFT-Eval (1位のMASE) [リーダーボード]
• Time-Series-Library (1位のMSE/MAE)
• FEV Leaderboard

推論時間

• ハードウェア: Apple M1 Pro CPU (16 GB)

仕様

🔧 技術詳細

Sundialは、ARMAモデル（自己回帰移動平均モデル）と見なすことができます。Transformerは自己回帰的なトークン表現を学習し、それに基づいてTimeFlowはランダムノイズを非決定的な予測に変換します。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下でライセンスされています。

Acknowledgments

この研究は、中国国家自然科学基金（62022050およびU2342217）、BNRistイノベーション基金（BNR2024RC01010）、および国家ビッグデータソフトウェア工学研究センターによって支援されています。

このモデルは、主にインターネット上の公開時系列データセットから構築されており、さまざまな研究チームや提供者から提供されています。データを提供してくれたすべての個人や組織に心から感謝します。彼らの寛大な共有がなければ、このモデルは存在しなかったでしょう。

Citation

@article{liu2025sundial,
  title={Sundial: A Family of Highly Capable Time Series Foundation Models},
  author={Liu, Yong and Qin, Guo and Shi, Zhiyuan and Chen, Zhi and Yang, Caiyin and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2502.00816},
  year={2025}
}

Contact

質問がある場合やコードを使用したい場合は、以下の連絡先にお問い合わせください。

• Yong Liu (liuyong21@mails.tsinghua.edu.cn)
• Guo Qin (qinguo24@mails.tsinghua.edu.cn)