Long T5 Tglobal Xl

🚀 LongT5（瞬態全局注意力，XL 大小模型）

LongT5 是一個在英文語料上預訓練的模型。該模型由 Guo 等人在論文 LongT5: Efficient Text-To-Text Transformer for Long Sequences 中提出，並首次在 LongT5 倉庫 中發佈。所有的模型架構和配置信息可在 Flaxformer 倉庫 中找到，該倉庫使用了另一個谷歌研究項目倉庫 T5x。

聲明：發佈 LongT5 的團隊並未為該模型撰寫模型卡片，此模型卡片由 Hugging Face 團隊撰寫。

✨ 主要特性

• LongT5 模型是一個編碼器 - 解碼器架構的 Transformer 模型，在文本到文本的去噪生成設置中進行預訓練（類似 Pegasus 的生成式預訓練）。
• 它是 T5 模型 的擴展，支持使用兩種不同的高效注意力機制：（1）局部注意力；（2）瞬態全局注意力。注意力稀疏模式的使用使模型能夠高效處理輸入序列。
• 在針對文本生成任務（如摘要生成、問答）進行微調時，LongT5 特別有效，因為這些任務需要處理長輸入序列（最多可達 16384 個標記）。

🚀 快速開始

該模型主要用於在有監督的數據集上進行微調。你可以查看 模型中心 以找到針對你感興趣的任務進行微調後的版本。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-tglobal-xl")
model = LongT5Model.from_pretrained("google/long-t5-tglobal-xl")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

📚 詳細文檔

BibTeX 引用和引用信息

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}

📄 許可證

本模型採用 Apache-2.0 許可證。