Sundial Base 128m

🚀 日晷（Sundial）

日晷（Sundial）是一系列生成式時間序列基礎模型，能夠對單點和概率預測進行零樣本預測。其基礎版本在1萬億個時間點上進行預訓練，擁有1.28億個參數。

🚀 快速開始

pip install transformers==4.40.1 # 使用此版本和Python 3.10以確保穩定兼容性

import torch
from transformers import AutoModelForCausalLM

# 加載預訓練模型
# 支持不同的回溯長度和預測長度
model = AutoModelForCausalLM.from_pretrained('thuml/sundial-base-128m', trust_remote_code=True) 

# 準備輸入
batch_size, lookback_length = 1, 2880 
seqs = torch.randn(batch_size, lookback_length)

# 注意：日晷模型可以生成多個可能的預測結果
forecast_length = 96 
num_samples = 20

output = model.generate(seqs, max_new_tokens=forecast_length, num_samples=num_samples)

# 使用原始預測結果進行均值、分位數或置信區間估計
print(output.shape) 

更多關於預測分位數或置信區間的示例，請參考這個筆記本。

✨ 主要特性

• 零樣本預測能力：能夠對單點和概率預測進行零樣本預測。
• 大規模預訓練：基礎版本在1萬億個時間點上進行預訓練，擁有1.28億個參數。
• 高性能表現：在多個基準測試中取得了優異的成績，如在GIFT-Eval基準測試中獲得第1名的MASE成績，在Time-Series-Library數據集上取得第1名的MSE/MAE零樣本性能。

📚 詳細文檔

模型架構

整體架構方面，輸入的時間序列被劃分為補丁標記（patch tokens），這些標記從原始連續值進行嵌入。補丁嵌入被輸入到一個僅解碼器的Transformer中，這是一個穩定且加速的版本，用於學習標記表示。模型使用TimeFlow損失進行優化，這是一個參數化的損失函數，它基於學習到的表示對每個標記的概率分佈進行建模，並在流匹配框架下生成多個合理的預測結果。

模型評估

我們在以下基準測試中評估了模型的性能：

• GIFT-Eval (第1名MASE) [排行榜]。
• Time-Series-Library (第1名MSE/MAE)。
• FEV排行榜。

推理時間

• 硬件：Apple M1 Pro CPU (16 GB)

模型規格

🔧 技術細節

日晷（Sundial）可以被視為一個自迴歸移動平均（ARMA）模型。Transformer學習自迴歸標記表示，在此基礎上，TimeFlow將隨機噪聲轉換為非確定性預測。

📄 許可證

此模型遵循Apache-2.0許可證。

致謝

本研究得到了國家自然科學基金（62022050和U2342217）、北京智源人工智能研究院創新基金（BNR2024RC01010）以及國家大數據軟件技術工程研究中心的支持。

該模型主要基於互聯網公共時間序列數據集構建，這些數據集來自不同的研究團隊和提供者。我們衷心感謝所有貢獻數據的個人和組織，沒有他們的慷慨分享，這個模型就無法存在。

引用

@article{liu2025sundial,
  title={Sundial: A Family of Highly Capable Time Series Foundation Models},
  author={Liu, Yong and Qin, Guo and Shi, Zhiyuan and Chen, Zhi and Yang, Caiyin and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2502.00816},
  year={2025}
}

聯繫我們

如果您有任何問題或想使用代碼，請隨時聯繫：

• 劉勇 (liuyong21@mails.tsinghua.edu.cn)
• 秦國 (qinguo24@mails.tsinghua.edu.cn)

最新消息

• 📢 消息 (2025.05) 在GIFT-Eval基準測試中獲得第1名MASE成績。
• 📢 消息 (2025.05) 日晷（Sundial）已被接受為ICML 2025 Spotlight（前2.6%）。
• 📢 消息 (2025.02) 在Time-Series-Library數據集上取得第1名MSE/MAE零樣本性能。