Long T5 Local Large

🚀 LongT5 (ローカルアテンション、大型モデル)

LongT5は英語で事前学習されたモデルです。このモデルは、Guoらによる論文 LongT5: Efficient Text-To-Text Transformer for Long Sequences で紹介され、the LongT5 repository で最初に公開されました。モデルのアーキテクチャと設定はすべて、Googleの別の研究プロジェクトリポジトリ T5x を使用する Flaxformer repository で見ることができます。

免責事項: LongT5をリリースしたチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

📚 ドキュメント

モデルの説明

LongT5モデルは、テキスト-to-テキストのノイズ除去生成設定で事前学習されたエンコーダ-デコーダトランスフォーマーです（Pegasusのような生成事前学習）。LongT5モデルは T5モデル の拡張であり、2つの異なる効率的なアテンションメカニズムのうち1つを使用できます - (1) ローカルアテンション、または (2) トランジェント-グローバルアテンション。アテンションの疎性パターンを使用することで、モデルは入力シーケンスを効率的に処理できます。

LongT5は、長い入力シーケンス（最大16,384トークン）を処理する必要があるテキスト生成（要約、質問応答）にファインチューニングすると、特に効果的です。

想定される用途と制限

このモデルは主に、教師付きデータセットでファインチューニングすることを想定しています。あなたが興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-local-large")
model = LongT5Model.from_pretrained("google/long-t5-local-large")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeXエントリと引用情報

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。