Retnet 410m XATL

🚀 混合RetNet模型

這是一個RetNet模型，與論文Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers配套。在這項工作中，我們提出不從零開始訓練新的線性成本推理模型（例如RetNet），而是從其他預訓練語言模型（PTLMs）中遷移共享的權重組件。該模型的輸入/輸出嵌入、多層感知機（MLP）權重、層歸一化（Layer Norms）、注意力輸出投影（$W_O$）已從pythia - 410m遷移而來。更多細節請參考論文。

✨ 主要特性

本模型創新性地不採用從零開始訓練線性成本推理模型的方式，而是從其他預訓練語言模型遷移共享權重組件，有效利用已有模型的知識，提高訓練效率和模型性能。

📦 安裝指南

使用以下代碼即可開始使用該模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("NucleusAI/RetNet-410m-XATL", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("NucleusAI/RetNet-410m-XATL", trust_remote_code=True)  # same as EleutherAI/pythia-1B

inputs = tokenizer("Hi there!", return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

📚 詳細文檔

模型詳情

模型描述

模型來源

訓練數據

該模型使用了pile_dedup數據集進行訓練，以便與相同規模的pythia模型進行比較。

📄 許可證

本模型採用Apache - 2.0許可證。