Yinglong 300m

🚀 应龙（YingLong）

应龙（YingLong）模型是一款用于时间序列预测的基础模型，预训练于78B时间点，能为时间序列预测任务提供强大支持。更多详细信息可查看论文和GitHub仓库。

🚀 快速开始

安装依赖

pip install xformers transformers
pip install flash-attn --no-build-isolation
git clone https://github.com/Dao-AILab/flash-attention && cd flash-attention
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .

⚠️ 重要提示

Flash Attention并非必需。若使用V100或其他不支持Flash Attention的GPU，只需在model.py文件中将FlashAttention2Available = RequirementCache("flash-attn>=2.0.0.post1")修改为FlashAttention2Available = False，模型即可运行。

代码示例

import torch
from transformers import AutoModelForCausalLM

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained('qcw2333/YingLong_300m', trust_remote_code=True,torch_dtype=torch.bfloat16).cuda()

# 准备输入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length).bfloat16().cuda()

# 生成预测
prediction_length = 96
output = model.generate(seqs, future_token=prediction_length)

print(output.shape)

此外，还提供了一个Notebook示例。长期预测任务和gift-eval任务的示例代码可在此处找到。

📄 许可证

本模型采用CC BY 4.0许可证。

📞 联系我们

如果您有任何问题或想使用代码，请随时联系：

• 王雪（xue.w@alibaba-inc.com）
• 周天（tian.zt@alibaba-inc.com）