Ernie 2.0 Large En

🚀 ERNIE-2.0-large

ERNIE 2.0は、2019年に百度が提案した継続的事前学習フレームワークです。これは、継続的なマルチタスク学習を通じて事前学習タスクを構築し、段階的に学習します。実験結果によると、ERNIE 2.0は、GLUEベンチマークの英語タスクやいくつかの一般的な中国語タスクを含む16のタスクで、BERTやXLNetを上回っています。

詳細はこちら: https://arxiv.org/abs/1907.12412

🚀 クイックスタート

ERNIE 2.0は、2019年に百度によって提案された継続的事前学習フレームワークです。これは、継続的なマルチタスク学習を通じて事前学習タスクを構築し、段階的に学習します。

✨ 主な機能

ERNIE 2.0は、継続的なマルチタスク学習を用いて事前学習タスクを構築し、段階的に学習することで、多くのタスクでBERTやXLNetを上回る性能を発揮します。

📦 インストール

この公開されたPyTorchモデルは、公式に公開されたPaddlePaddle ERNIEモデルから変換されており、変換の精度を確認するために一連の実験が行われています。

• 公式PaddlePaddle ERNIEリポジトリ: https://github.com/PaddlePaddle/ERNIE
• PyTorch変換リポジトリ: https://github.com/nghuyong/ERNIE-Pytorch

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-large-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-large-en")

📚 ドキュメント

詳細な情報については、以下の論文を参照してください。

📄 ライセンス

引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}