Yinglong 110m

🚀 应龙（YingLong）

应龙（YingLong）模型是一个用于时间序列预测的预训练模型，在780亿个时间点上进行了预训练。它为时间序列预测任务提供了强大的支持，更多详细信息可查看相关论文、GitHub仓库和项目页面。

🚀 快速开始

安装依赖

pip install xformers transformers
pip install flash-attn --no-build-isolation
git clone https://github.com/Dao-AILab/flash-attention && cd flash-attention
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .

⚠️ 重要提示

Flash Attention不是必需的。如果使用的是V100或其他不支持Flash Attention的GPU，只需在model.py文件中将FlashAttention2Available = RequirementCache("flash-attn>=2.0.0.post1")更改为FlashAttention2Available = False，模型应该就能正常运行。

代码示例

import torch
from transformers import AutoModelForCausalLM

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained('qcw2333/YingLong_110m', trust_remote_code=True,torch_dtype=torch.bfloat16).cuda()

# 准备输入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length).bfloat16().cuda()

# 生成预测
prediction_length = 96
output = model.generate(seqs, future_token=prediction_length)

print(output.shape)

更多示例

• 笔记本示例：点击查看
• 长期预测任务和gift-eval任务的示例代码：点击查看

📄 许可证

本模型采用CC BY 4.0许可证。

📚 详细文档

应龙（YingLong）模型在这篇论文中被提出。此版本在780亿个时间点上进行了预训练。更多详细信息可在我们的GitHub仓库和项目页面中找到。

📫 联系我们

如果您有任何问题或想使用代码，请随时联系：

• 王雪（Xue Wang）：xue.w@alibaba-inc.com
• 周天（Tian Zhou）：tian.zt@alibaba-inc.com