Muppet Roberta Large

🚀 Muppet: 事前微調整による大規模マルチタスク表現

RoBERTa largeモデル

これはRoberta largeの大規模マルチタスク事前微調整版です。このモデルは、この論文で紹介されました。このモデルは、幅広いGLUE、QAタスクにおいてroberta-baseを上回る性能を発揮します（詳細は論文を参照）。特に小規模データセットでの性能向上は顕著です。

⚠️ 重要提示 このチェックポイントには、互換性の問題から事前微調整時に使用される分類/MRCヘッドが含まれていないため、一部のデータセットで論文に報告されている性能よりも若干低い結果になる可能性があります。

📚 ドキュメント

✨ 主な機能

RoBERTaは、自己教師付き学習によって大量の英語データコーパスで事前学習されたトランスフォーマーモデルです。つまり、人間が何らかの形でラベル付けを行わず、生のテキストのみを使用して、自動的なプロセスで入力とラベルを生成して事前学習されます。

具体的には、マスク言語モデリング（MLM）の目的で事前学習されます。文章を入力として、モデルは入力中の単語の15％をランダムにマスクし、そのマスクされた文章全体をモデルに通して、マスクされた単語を予測します。これは、通常単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、内部的に未来のトークンをマスクするGPTのような自己回帰モデルとは異なり、文章の双方向的な表現を学習することができます。

このようにして、モデルは英語の内部表現を学習し、それを下流タスクに有用な特徴量として抽出することができます。例えば、ラベル付きの文章のデータセットがある場合、BERTモデルが生成する特徴量を入力として、標準的な分類器を学習することができます。

🔧 技術詳細

このモデルは、主に下流タスクでの微調整を目的としています。生のモデルはマスク言語モデリングに使用することもできますが、ほとんどの場合、下流タスクで微調整されることを想定しています。モデルハブを参照すると、興味のあるタスクで微調整されたバージョンを見つけることができます。

このモデルは、主に文章全体（潜在的にマスクされた）を使用して決定を行うタスク、例えばシーケンス分類、トークン分類、質問応答などでの微調整を目的としています。テキスト生成などのタスクには、GPT2のようなモデルを検討する必要があります。

🔍 評価結果

下流タスクで微調整された場合、このモデルは以下の結果を達成します。

Glueテスト結果:

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2101-11038,
  author    = {Armen Aghajanyan and
               Anchit Gupta and
               Akshat Shrivastava and
               Xilun Chen and
               Luke Zettlemoyer and
               Sonal Gupta},
  title     = {Muppet: Massive Multi-task Representations with Pre-Finetuning},
  journal   = {CoRR},
  volume    = {abs/2101.11038},
  year      = {2021},
  url       = {https://arxiv.org/abs/2101.11038},
  archivePrefix = {arXiv},
  eprint    = {2101.11038},
  timestamp = {Sun, 31 Jan 2021 17:23:50 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2101-11038.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📦 モデル情報