Timer Base 84m

🚀 時間序列Transformer (Timer)

時間序列Transformer（Timer）是一個大型時間序列模型，最初在這篇論文中被提出，並在我們的後續工作中得到進一步增強。本版本在2600億個時間點上進行了預訓練，擁有8400萬個參數，是一個輕量級的生成式Transformer，可用於零樣本點預測。

🚀 快速開始

pip install transformers==4.40.1 # 使用此版本和Python 3.10以確保穩定兼容性

import torch
from transformers import AutoModelForCausalLM

# 加載預訓練模型
model = AutoModelForCausalLM.from_pretrained('thuml/timer-base-84m', trust_remote_code=True)

# 準備輸入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length)

# 生成預測
prediction_length = 96
output = model.generate(seqs, max_new_tokens=prediction_length)

print(output.shape)

這裡還提供了一個筆記本示例，快來試試吧！

✨ 主要特性

• 本模型在TSLib數據集等基準測試上進行了評估。
• 雖然這是一個小型模型，但仍有改進空間。我們正在積極努力，並歡迎建設性的建議和值得關注的案例。

📦 安裝指南

pip install transformers==4.40.1 # 使用此版本和Python 3.10以確保穩定兼容性

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM

# 加載預訓練模型
model = AutoModelForCausalLM.from_pretrained('thuml/timer-base-84m', trust_remote_code=True)

# 準備輸入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length)

# 生成預測
prediction_length = 96
output = model.generate(seqs, max_new_tokens=prediction_length)

print(output.shape)

📚 詳細文檔

如需更多信息，請查看Github倉庫。

🔧 技術細節

📄 許可證

本模型採用Apache-2.0許可證。

致謝

本工作得到了國家自然科學基金（62022050和U2342217）、北京智源人工智能研究院創新基金（BNR2024RC01010）和國家大數據軟件技術工程研究中心的支持。

該模型主要基於互聯網公共時間序列數據集構建，這些數據來自不同的研究團隊和提供者。我們衷心感謝所有貢獻數據的個人和組織，沒有他們的慷慨分享，這個模型就無法存在。

引用

@inproceedings{liutimer,
  title={Timer: Generative Pre-trained Transformers Are Large Time Series Models},
  author={Liu, Yong and Zhang, Haoran and Li, Chenyu and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  booktitle={Forty-first International Conference on Machine Learning}
}

@article{liu2024timer,
  title={Timer-XL: Long-Context Transformers for Unified Time Series Forecasting},
  author={Liu, Yong and Qin, Guo and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2410.04803},
  year={2024}
}

聯繫我們

如果您有任何問題或想使用代碼，請隨時聯繫：

• 劉勇 (liuyong21@mails.tsinghua.edu.cn)
• 秦國 (qinguo24@mails.tsinghua.edu.cn)