Long T5 Tglobal Base

🚀 LongT5 (transient-global attention, base-sized model)

LongT5は英語で事前学習されたモデルです。このモデルは、Guoらによる論文 LongT5: Efficient Text-To-Text Transformer for Long Sequences で紹介され、the LongT5 repository で最初に公開されました。モデルのアーキテクチャと設定のすべては、Googleの別の研究プロジェクトリポジトリ T5x を使用する Flaxformer repository で見つけることができます。

免責事項: LongT5を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

LongT5モデルは、テキストからテキストへのノイズ除去生成設定（Pegasusのような生成事前学習）で事前学習されたエンコーダ-デコーダトランスフォーマーです。LongT5モデルは T5モデル の拡張であり、2つの異なる効率的な注意機構のうちの1つを使用できます - (1) ローカル注意、または (2) トランジェント-グローバル注意。注意の疎性パターンの使用により、モデルは入力シーケンスを効率的に処理できます。

LongT5は、長い入力シーケンス（最大16,384トークン）を処理する必要があるテキスト生成（要約、質問応答）に微調整された場合に特に効果的です。

✨ 主な機能

このモデルは主に、教師付きデータセットで微調整することを目的としています。あなたが興味のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-tglobal-base")
model = LongT5Model.from_pretrained("google/long-t5-tglobal-base")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

📚 ドキュメント

BibTeXエントリと引用情報

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。