Ernie 2.0 Base En

🚀 ERNIE-2.0

ERNIE 2.0は、2019年に百度が提案した継続的事前学習フレームワークです。これは、継続的なマルチタスク学習を通じて事前学習タスクを段階的に構築し学習します。実験結果によると、ERNIE 2.0は、GLUEベンチマークの英語タスクやいくつかの一般的な中国語タスクを含む16のタスクで、BERTやXLNetを上回っています。

詳細: https://arxiv.org/abs/1907.12412

🚀 クイックスタート

ERNIE 2.0は、自然言語処理タスクにおいて高い性能を発揮する事前学習モデルです。以下に、このモデルを使用するための基本的な手順を説明します。

✨ 主な機能

• 継続的なマルチタスク学習により、事前学習タスクを段階的に構築し学習します。
• GLUEベンチマークの英語タスクや中国語の一般的なタスクで、BERTやXLNetを上回る性能を発揮します。

📦 インストール

このリリースされたPyTorchモデルは、公式にリリースされたPaddlePaddle ERNIEモデルから変換されており、変換の正確性を確認するために一連の実験が行われています。

• 公式PaddlePaddle ERNIEリポジトリ: https://github.com/PaddlePaddle/ERNIE
• PyTorch変換リポジトリ: https://github.com/nghuyong/ERNIE-Pytorch

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-base-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-base-en")

📚 ドキュメント

より詳細な情報については、以下の論文を参照してください。

📄 ライセンス

引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}