Timer Base 84m

🚀 Time-Series Transformer (Timer)

このモデルは、この論文で紹介された大規模時系列モデルで、さらに別の研究により強化されています。 このバージョンは、2600億の時系列ポイントで事前学習され、8400万のパラメータを持つ軽量な生成型Transformerで、ゼロショットのポイント予測に適しています。 モデルは、TSLibデータセットというベンチマークで評価されています。 詳細については、Githubリポジトリを参照してください。 この小規模モデルには改善の余地があります。私たちは積極的に改良に取り組んでおり、建設的な提案や注目すべきケースを歓迎します :)

🚀 クイックスタート

pip install transformers==4.40.1 # 安定した互換性のためにこのバージョンとPython 3.10を使用してください

import torch
from transformers import AutoModelForCausalLM

# 事前学習モデルをロード
model = AutoModelForCausalLM.from_pretrained('thuml/timer-base-84m', trust_remote_code=True)

# 入力を準備
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length)

# 予測を生成
prediction_length = 96
output = model.generate(seqs, max_new_tokens=prediction_length)

print(output.shape)

ノートブックの例もこちらで提供されています。是非試してみてください！

✨ 主な機能

📚 謝辞

この研究は、中国国家自然科学基金（62022050およびU2342217）、BNRistイノベーション基金（BNR2024RC01010）、および国家ビッグデータソフトウェアエンジニアリング研究センターによって支援されています。 このモデルは主にインターネット上の公開時系列データセットを使用して構築されており、これらのデータはさまざまな研究チームや提供者から提供されています。データを提供してくれたすべての個人や組織に心から感謝します。彼らの寛大な共有がなければ、このモデルは存在しなかったでしょう。

📚 引用

@inproceedings{liutimer,
  title={Timer: Generative Pre-trained Transformers Are Large Time Series Models},
  author={Liu, Yong and Zhang, Haoran and Li, Chenyu and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  booktitle={Forty-first International Conference on Machine Learning}
}

@article{liu2024timer,
  title={Timer-XL: Long-Context Transformers for Unified Time Series Forecasting},
  author={Liu, Yong and Qin, Guo and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2410.04803},
  year={2024}
}

📚 連絡先

質問がある場合やコードを使用したい場合は、以下のメールアドレスまでご連絡ください。

• Yong Liu (liuyong21@mails.tsinghua.edu.cn)
• Guo Qin (qinguo24@mails.tsinghua.edu.cn)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。