Xlnet Base Cased

🚀 XLNet (ベースサイズのモデル)

XLNetは英語で事前学習されたモデルです。このモデルは、Yangらによる論文 XLNet: Generalized Autoregressive Pretraining for Language Understanding で紹介され、このリポジトリ で最初に公開されました。

免責事項: XLNetを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

このモデルは、下流のタスクでファインチューニングすることを主な目的としています。興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

✨ 主な機能

モデルの説明

XLNetは、新しい一般化された順列言語モデリングの目的に基づく教師なし言語表現学習方法です。さらに、XLNetはTransformer-XLをバックボーンモデルとして採用しており、長いコンテキストを扱う言語タスクで優れた性能を発揮します。全体的に、XLNetは質問応答、自然言語推論、感情分析、文書ランキングなどの様々な下流の言語タスクで最先端（SOTA）の結果を達成しています。

想定される用途と制限

このモデルは主に、下流のタスクでファインチューニングすることを目的としています。ただし、このモデルは主に、文全体（潜在的にマスクされた）を使用して決定を行うタスク、例えばシーケンス分類、トークン分類、質問応答などでのファインチューニングを目的としています。テキスト生成などのタスクについては、GPT2などのモデルを検討する必要があります。

💻 使用例

基本的な使用法

以下は、このモデルを使用して、与えられたテキストの特徴を取得する方法の例です。

from transformers import XLNetTokenizer, XLNetModel

tokenizer = XLNetTokenizer.from_pretrained('xlnet-base-cased')
model = XLNetModel.from_pretrained('xlnet-base-cased')

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

📚 ドキュメント

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-1906-08237,
  author    = {Zhilin Yang and
               Zihang Dai and
               Yiming Yang and
               Jaime G. Carbonell and
               Ruslan Salakhutdinov and
               Quoc V. Le},
  title     = {XLNet: Generalized Autoregressive Pretraining for Language Understanding},
  journal   = {CoRR},
  volume    = {abs/1906.08237},
  year      = {2019},
  url       = {http://arxiv.org/abs/1906.08237},
  eprinttype = {arXiv},
  eprint    = {1906.08237},
  timestamp = {Mon, 24 Jun 2019 17:28:45 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1906-08237.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。