Sundial Base 128m

🚀 日晷（Sundial）

日晷（Sundial）是一系列生成式时间序列基础模型，能够对单点和概率预测进行零样本预测。其基础版本在1万亿个时间点上进行预训练，拥有1.28亿个参数。

🚀 快速开始

pip install transformers==4.40.1 # 使用此版本和Python 3.10以确保稳定兼容性

import torch
from transformers import AutoModelForCausalLM

# 加载预训练模型
# 支持不同的回溯长度和预测长度
model = AutoModelForCausalLM.from_pretrained('thuml/sundial-base-128m', trust_remote_code=True) 

# 准备输入
batch_size, lookback_length = 1, 2880 
seqs = torch.randn(batch_size, lookback_length)

# 注意：日晷模型可以生成多个可能的预测结果
forecast_length = 96 
num_samples = 20

output = model.generate(seqs, max_new_tokens=forecast_length, num_samples=num_samples)

# 使用原始预测结果进行均值、分位数或置信区间估计
print(output.shape) 

更多关于预测分位数或置信区间的示例，请参考这个笔记本。

✨ 主要特性

• 零样本预测能力：能够对单点和概率预测进行零样本预测。
• 大规模预训练：基础版本在1万亿个时间点上进行预训练，拥有1.28亿个参数。
• 高性能表现：在多个基准测试中取得了优异的成绩，如在GIFT-Eval基准测试中获得第1名的MASE成绩，在Time-Series-Library数据集上取得第1名的MSE/MAE零样本性能。

📚 详细文档

模型架构

整体架构方面，输入的时间序列被划分为补丁标记（patch tokens），这些标记从原始连续值进行嵌入。补丁嵌入被输入到一个仅解码器的Transformer中，这是一个稳定且加速的版本，用于学习标记表示。模型使用TimeFlow损失进行优化，这是一个参数化的损失函数，它基于学习到的表示对每个标记的概率分布进行建模，并在流匹配框架下生成多个合理的预测结果。

模型评估

我们在以下基准测试中评估了模型的性能：

• GIFT-Eval (第1名MASE) [排行榜]。
• Time-Series-Library (第1名MSE/MAE)。
• FEV排行榜。

推理时间

• 硬件：Apple M1 Pro CPU (16 GB)

模型规格

🔧 技术细节

日晷（Sundial）可以被视为一个自回归移动平均（ARMA）模型。Transformer学习自回归标记表示，在此基础上，TimeFlow将随机噪声转换为非确定性预测。

📄 许可证

此模型遵循Apache-2.0许可证。

致谢

本研究得到了国家自然科学基金（62022050和U2342217）、北京智源人工智能研究院创新基金（BNR2024RC01010）以及国家大数据软件技术工程研究中心的支持。

该模型主要基于互联网公共时间序列数据集构建，这些数据集来自不同的研究团队和提供者。我们衷心感谢所有贡献数据的个人和组织，没有他们的慷慨分享，这个模型就无法存在。

引用

@article{liu2025sundial,
  title={Sundial: A Family of Highly Capable Time Series Foundation Models},
  author={Liu, Yong and Qin, Guo and Shi, Zhiyuan and Chen, Zhi and Yang, Caiyin and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2502.00816},
  year={2025}
}

联系我们

如果您有任何问题或想使用代码，请随时联系：

• 刘勇 (liuyong21@mails.tsinghua.edu.cn)
• 秦国 (qinguo24@mails.tsinghua.edu.cn)

最新消息

• 📢 消息 (2025.05) 在GIFT-Eval基准测试中获得第1名MASE成绩。
• 📢 消息 (2025.05) 日晷（Sundial）已被接受为ICML 2025 Spotlight（前2.6%）。
• 📢 消息 (2025.02) 在Time-Series-Library数据集上取得第1名MSE/MAE零样本性能。