Xlnet Large Cased

🚀 XLNet (大型モデル)

XLNetは英語で事前学習されたモデルです。Yangらによる論文 XLNet: Generalized Autoregressive Pretraining for Language Understanding で紹介され、このリポジトリ で最初に公開されました。

免責事項: XLNetを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

XLNetは新しい教師なし言語表現学習方法で、新しい一般化された順列言語モデリングの目的に基づいています。さらに、XLNetはTransformer-XLをバックボーンモデルとして採用しており、長いコンテキストを扱う言語タスクで優れた性能を発揮します。全体的に、XLNetは質問応答、自然言語推論、感情分析、文書ランキングなど、様々な下流の言語タスクで最先端（SOTA）の結果を達成しています。

✨ 主な機能

• 新しい一般化された順列言語モデリングの目的に基づく教師なし言語表現学習方法
• Transformer-XLをバックボーンモデルとして採用し、長いコンテキストを扱う言語タスクで優れた性能を発揮
• 様々な下流の言語タスクで最先端（SOTA）の結果を達成

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import XLNetTokenizer, XLNetModel

tokenizer = XLNetTokenizer.from_pretrained('xlnet-large-cased')
model = XLNetModel.from_pretrained('xlnet-large-cased')

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

高度な使用法

このREADMEには高度な使用法のコード例が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

想定される使用目的と制限

このモデルは主に下流タスクでファインチューニングすることを想定しています。あなたが興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

このモデルは主に、文全体（潜在的にマスクされた）を使用して決定を下すタスク、例えばシーケンス分類、トークン分類、質問応答などでファインチューニングすることを目的としています。テキスト生成などのタスクには、GPT2のようなモデルを検討する必要があります。

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-1906-08237,
  author    = {Zhilin Yang and
               Zihang Dai and
               Yiming Yang and
               Jaime G. Carbonell and
               Ruslan Salakhutdinov and
               Quoc V. Le},
  title     = {XLNet: Generalized Autoregressive Pretraining for Language Understanding},
  journal   = {CoRR},
  volume    = {abs/1906.08237},
  year      = {2019},
  url       = {http://arxiv.org/abs/1906.08237},
  eprinttype = {arXiv},
  eprint    = {1906.08237},
  timestamp = {Mon, 24 Jun 2019 17:28:45 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1906-08237.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。