Retnet 410m XATL

🚀 Hybrid RetNet

このモデルは、RetNet モデルであり、論文 Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers に関連するものです。本研究では、新しい線形コスト推論モデル（例：RetNet）をゼロから学習させるのではなく、他の事前学習言語モデル（PTLMs）から共有重み成分を転移させることを提案しました。このモデルの入出力埋め込み、MLP重み、レイヤー正規化、アテンション出力射影 ($W_O$) は、pythia-410m から転移されています。詳細については、論文を参照してください。

📚 ドキュメント

モデルの説明

モデルのソース

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めましょう。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("NucleusAI/RetNet-410m-XATL", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("NucleusAI/RetNet-410m-XATL", trust_remote_code=True)  # same as EleutherAI/pythia-1B

inputs = tokenizer("Hi there!", return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

🔧 技術詳細

学習データ

このモデルは、同じサイズの pythia モデルとの比較を目的として、pile_dedup データセットを使って学習されています。

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。