Yinglong 300m

🚀 YingLong

YingLongモデルは、この論文で紹介されています。このバージョンは、780億の時系列ポイントで事前学習されています。詳細は、私たちのGitHubを参照してください。

🚀 クイックスタート

インストール

pip install xformers transformers
pip install flash-attn --no-build-isolation
git clone https://github.com/Dao-AILab/flash-attention && cd flash-attention
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .

Flash Attentionは必須ではありません。V100やFlash Attentionをサポートしていない他のGPUを使用している場合は、model.pyファイル内のFlashAttention2Available = RequirementCache("flash-attn>=2.0.0.post1")をFlashAttention2Available = Falseに変更すると、実行できるはずです。

使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM

# 事前学習モデルをロード
model = AutoModelForCausalLM.from_pretrained('qcw2333/YingLong_300m', trust_remote_code=True,torch_dtype=torch.bfloat16).cuda()

# 入力を準備
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length).bfloat16().cuda()

# 予測を生成
prediction_length = 96
output = model.generate(seqs, future_token=prediction_length)

print(output.shape)

ノートブックの例もこちらで提供されています。長期予測タスクとgift-evalタスクのサンプルコードは、このリンクで提供されています。

📄 ライセンス

このモデルは、cc-by-4.0ライセンスの下で提供されています。

📞 連絡先

質問がある場合やコードを使用したい場合は、以下の連絡先までお気軽にお問い合わせください。

• Xue Wang (xue.w@alibaba-inc.com)
• Tian Zhou (tian.zt@alibaba-inc.com)