Yinglong 110m

🚀 應龍（YingLong）

應龍（YingLong）模型是一個用於時間序列預測的預訓練模型，在780億個時間點上進行了預訓練。它為時間序列預測任務提供了強大的支持，更多詳細信息可查看相關論文、GitHub倉庫和項目頁面。

🚀 快速開始

安裝依賴

pip install xformers transformers
pip install flash-attn --no-build-isolation
git clone https://github.com/Dao-AILab/flash-attention && cd flash-attention
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .

⚠️ 重要提示

Flash Attention不是必需的。如果使用的是V100或其他不支持Flash Attention的GPU，只需在model.py文件中將FlashAttention2Available = RequirementCache("flash-attn>=2.0.0.post1")更改為FlashAttention2Available = False，模型應該就能正常運行。

代碼示例

import torch
from transformers import AutoModelForCausalLM

# 加載預訓練模型
model = AutoModelForCausalLM.from_pretrained('qcw2333/YingLong_110m', trust_remote_code=True,torch_dtype=torch.bfloat16).cuda()

# 準備輸入
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length).bfloat16().cuda()

# 生成預測
prediction_length = 96
output = model.generate(seqs, future_token=prediction_length)

print(output.shape)

更多示例

• 筆記本示例：點擊查看
• 長期預測任務和gift-eval任務的示例代碼：點擊查看

📄 許可證

本模型採用CC BY 4.0許可證。

📚 詳細文檔

應龍（YingLong）模型在這篇論文中被提出。此版本在780億個時間點上進行了預訓練。更多詳細信息可在我們的GitHub倉庫和項目頁面中找到。

📫 聯繫我們

如果您有任何問題或想使用代碼，請隨時聯繫：

• 王雪（Xue Wang）：xue.w@alibaba-inc.com
• 周天（Tian Zhou）：tian.zt@alibaba-inc.com