Long T5 Local Large

🚀 長T5模型（局部注意力，大型模型）

長T5模型是在英文語料上進行預訓練的模型。該模型由Guo等人在論文《LongT5: 適用於長序列的高效文本到文本Transformer》中提出，並首次在長T5倉庫中發佈。所有的模型架構和配置信息都可以在Flaxformer倉庫中找到，該倉庫使用了另一個谷歌研究項目倉庫T5x。

免責聲明：發佈長T5的團隊並未為該模型撰寫模型卡片，因此此模型卡片由Hugging Face團隊撰寫。

🚀 快速開始

長T5模型是一個基於編碼器 - 解碼器架構的Transformer模型，在文本到文本的去噪生成設置中進行預訓練（類似Pegasus的生成式預訓練）。它是T5模型的擴展，支持使用兩種不同的高效注意力機制之一：（1）局部注意力，或（2）瞬態全局注意力。通過使用注意力稀疏模式，該模型能夠高效地處理輸入序列。

長T5在針對文本生成任務（如摘要生成、問答）進行微調時特別有效，這些任務需要處理長輸入序列（最多可達16,384個詞元）。

✨ 主要特性

• 高效處理長序列：藉助局部注意力或瞬態全局注意力機制，能夠高效處理長輸入序列。
• 文本生成能力強：在文本生成任務（如摘要生成、問答）上表現出色。

📦 安裝指南

暫未提及具體安裝命令，跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-local-large")
model = LongT5Model.from_pretrained("google/long-t5-local-large")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

高級用法

暫未提供高級用法示例，跳過此部分。

📚 詳細文檔

該模型主要用於在有監督的數據集上進行微調。你可以訪問模型中心，查找針對你感興趣的任務進行微調後的版本。

🔧 技術細節

長T5模型是在文本到文本的去噪生成設置中進行預訓練的，它是T5模型的擴展，支持使用局部注意力或瞬態全局注意力機制。這些注意力機制的稀疏模式使得模型能夠高效地處理輸入序列，特別是在處理長輸入序列時表現出色。

📄 許可證

本模型採用Apache 2.0許可證。

BibTeX條目和引用信息

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}