Ernie 2.0 Base En

🚀 ERNIE-2.0

ERNIE 2.0 是百度在 2019 年提出的持續預訓練框架，它通過持續的多任務學習來構建並逐步學習增量式預訓練任務。實驗結果表明，在 GLUE 基準測試的 16 項任務（包括英文任務）以及多項常見中文任務中，ERNIE 2.0 的表現優於 BERT 和 XLNet。

🚀 快速開始

ERNIE 2.0 是百度於 2019 年提出的持續預訓練框架，通過不斷進行多任務學習來構建和學習增量式預訓練任務。在 GLUE 基準測試的 16 項任務（含英文任務）以及多個常見中文任務中，其表現優於 BERT 和 XLNet。更多詳情請見：https://arxiv.org/abs/1907.12412

✨ 主要特性

• 持續預訓練框架：通過持續的多任務學習構建並學習增量式預訓練任務。
• 性能優越：在 16 項任務（包括英文任務）和多項常見中文任務中表現優於 BERT 和 XLNet。

📦 安裝指南

本發佈的 PyTorch 模型是從官方發佈的 PaddlePaddle ERNIE 模型轉換而來，並進行了一系列實驗以驗證轉換的準確性。

• 官方 PaddlePaddle ERNIE 倉庫：https://github.com/PaddlePaddle/ERNIE
• PyTorch 轉換倉庫：https://github.com/nghuyong/ERNIE-Pytorch

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-base-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-base-en")

📄 許可證

引用信息

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}