Long T5 Tglobal Xl

🚀 LongT5（瞬間的なグローバル注意力、XLサイズのモデル）

LongT5は、英語のコーパスで事前学習されたモデルです。このモデルは、Guoらによって論文 LongT5: Efficient Text-To-Text Transformer for Long Sequences で提案され、初めて LongT5 リポジトリ で公開されました。すべてのモデルアーキテクチャと設定情報は、別のGoogleの研究プロジェクトリポジトリ T5x を使用した Flaxformer リポジトリ で見つけることができます。

声明：LongT5を公開したチームはこのモデルについてモデルカードを作成していません。このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

• LongT5モデルは、エンコーダ - デコーダアーキテクチャのTransformerモデルで、テキストからテキストへのノイズ除去生成設定で事前学習されています（Pegasusに似た生成的事前学習）。
• これは T5モデル の拡張で、2種類の異なる効率的な注意力機構をサポートしています：（1）局所的な注意力；（2）瞬間的なグローバル注意力。注意力の疎なパターンを使用することで、モデルは入力シーケンスを効率的に処理することができます。
• 要約生成や質問応答などの長い入力シーケンス（最大16384トークン）を処理する必要があるテキスト生成タスクに対して微調整する際に、LongT5は特に有効です。

🚀 クイックスタート

このモデルは主に、教師付きデータセットでの微調整に使用されます。あなたが興味のあるタスクに対して微調整されたバージョンを見つけるには、モデルセンター を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-tglobal-xl")
model = LongT5Model.from_pretrained("google/long-t5-tglobal-xl")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

📚 ドキュメント

BibTeX引用と引用情報

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。