Yinglong 110m

🚀 应龙 (YingLong)

应龙 (YingLong) モデルは、この論文で紹介されています。このバージョンは、780億の時系列データポイントで事前学習されています。詳細は、私たちのGitHubとプロジェクトページで確認できます。

🚀 クイックスタート

必要なライブラリのインストール

pip install xformers transformers
pip install flash-attn --no-build-isolation
git clone https://github.com/Dao-AILab/flash-attention && cd flash-attention
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .

Flash Attentionは必須ではありません。V100やFlash Attentionをサポートしていない他のGPUを使用している場合は、model.pyファイル内のFlashAttention2Available = RequirementCache("flash-attn>=2.0.0.post1")をFlashAttention2Available = Falseに変更すると、実行できるはずです。

コードによる使用例

import torch
from transformers import AutoModelForCausalLM

# 事前学習モデルの読み込み
model = AutoModelForCausalLM.from_pretrained('qcw2333/YingLong_110m', trust_remote_code=True,torch_dtype=torch.bfloat16).cuda()

# 入力の準備
batch_size, lookback_length = 1, 2880
seqs = torch.randn(batch_size, lookback_length).bfloat16().cuda()

# 予測の生成
prediction_length = 96
output = model.generate(seqs, future_token=prediction_length)

print(output.shape)

ノートブックの例もこちらで提供されています。長期予測タスクとgift-evalタスクのサンプルコードは、このリンクで提供されています。

📄 ライセンス

このモデルは、cc-by-4.0ライセンスの下で提供されています。

問い合わせ

質問がある場合やコードを使用したい場合は、以下の連絡先までお問い合わせください。

Xue Wang (xue.w@alibaba-inc.com) Tian Zhou (tian.zt@alibaba-inc.com)