Long T5 Tglobal Base

🚀 LongT5（瞬態全局注意力，基礎大小模型）

LongT5 是一個在英文語料上預訓練的模型。該模型由 Guo 等人在論文 LongT5: Efficient Text-To-Text Transformer for Long Sequences 中提出，並首次在 LongT5 代碼庫 中發佈。所有的模型架構和配置信息可以在 Flaxformer 代碼庫 中找到，該代碼庫使用了另一個 Google 研究項目 T5x。

免責聲明：發佈 LongT5 的團隊並未為該模型撰寫模型卡片，此模型卡片由 Hugging Face 團隊撰寫。

🚀 快速開始

LongT5 模型是在文本到文本的去噪生成設置下預訓練的編碼器 - 解碼器 Transformer 模型（類似 Pegasus 的生成式預訓練）。它是 T5 模型 的擴展，支持使用兩種不同的高效注意力機制之一：（1）局部注意力；（2）瞬態全局注意力。注意力稀疏模式的使用使模型能夠高效處理輸入序列。

LongT5 在針對文本生成（摘要、問答）進行微調時特別有效，這些任務需要處理長輸入序列（最多 16384 個標記）。

✨ 主要特性

• 基於文本到文本的去噪生成設置進行預訓練。
• 作為 T5 模型的擴展，支持兩種高效注意力機制。
• 能夠高效處理長輸入序列，適用於文本生成任務。

📦 安裝指南

暫未提及安裝步驟，跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-tglobal-base")
model = LongT5Model.from_pretrained("google/long-t5-tglobal-base")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

📚 詳細文檔

該模型主要用於在有監督的數據集上進行微調。你可以訪問 模型中心 查找針對你感興趣的任務進行微調後的版本。

BibTeX 引用和引用信息

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}

📄 許可證

該模型採用 Apache-2.0 許可證。