Timer Base 84m

🚀 时间序列Transformer (Timer)

时间序列Transformer（Timer）是一个大型时间序列模型，最初在这篇论文中被提出，并在我们的后续工作中得到进一步增强。本版本在2600亿个时间点上进行了预训练，拥有8400万个参数，是一个轻量级的生成式Transformer，可用于零样本点预测。

🚀 快速开始

pip install transformers==4.40.1 # 使用此版本和Python 3.10以确保稳定兼容性

import torch
from transformers import AutoModelForCausalLM

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained('thuml/timer-base-84m', trust_remote_code=True)

# 准备输入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length)

# 生成预测
prediction_length = 96
output = model.generate(seqs, max_new_tokens=prediction_length)

print(output.shape)

这里还提供了一个笔记本示例，快来试试吧！

✨ 主要特性

• 本模型在TSLib数据集等基准测试上进行了评估。
• 虽然这是一个小型模型，但仍有改进空间。我们正在积极努力，并欢迎建设性的建议和值得关注的案例。

📦 安装指南

pip install transformers==4.40.1 # 使用此版本和Python 3.10以确保稳定兼容性

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained('thuml/timer-base-84m', trust_remote_code=True)

# 准备输入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length)

# 生成预测
prediction_length = 96
output = model.generate(seqs, max_new_tokens=prediction_length)

print(output.shape)

📚 详细文档

如需更多信息，请查看Github仓库。

🔧 技术细节

📄 许可证

本模型采用Apache-2.0许可证。

致谢

本工作得到了国家自然科学基金（62022050和U2342217）、北京智源人工智能研究院创新基金（BNR2024RC01010）和国家大数据软件技术工程研究中心的支持。

该模型主要基于互联网公共时间序列数据集构建，这些数据来自不同的研究团队和提供者。我们衷心感谢所有贡献数据的个人和组织，没有他们的慷慨分享，这个模型就无法存在。

引用

@inproceedings{liutimer,
  title={Timer: Generative Pre-trained Transformers Are Large Time Series Models},
  author={Liu, Yong and Zhang, Haoran and Li, Chenyu and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  booktitle={Forty-first International Conference on Machine Learning}
}

@article{liu2024timer,
  title={Timer-XL: Long-Context Transformers for Unified Time Series Forecasting},
  author={Liu, Yong and Qin, Guo and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2410.04803},
  year={2024}
}

联系我们

如果您有任何问题或想使用代码，请随时联系：

• 刘勇 (liuyong21@mails.tsinghua.edu.cn)
• 秦国 (qinguo24@mails.tsinghua.edu.cn)