Ernie 2.0 Large En

🚀 ERNIE-2.0-large

ERNIE 2.0 是百度在 2019 年提出的持續預訓練框架，它通過持續的多任務學習來構建和增量式學習預訓練任務。實驗結果表明，ERNIE 2.0 在包括 GLUE 基準測試中的英語任務以及多個常見中文任務在內的 16 個任務上表現優於 BERT 和 XLNet。

🚀 快速開始

ERNIE 2.0 是一種持續預訓練框架，通過不斷的多任務學習構建和學習增量式預訓練任務。它在多個任務上的表現優於 BERT 和 XLNet。

# 從預訓練模型加載分詞器和模型
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-large-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-large-en")

✨ 主要特性

• ERNIE 2.0 是持續預訓練框架，通過持續多任務學習構建和學習增量式預訓練任務。
• 在 16 個任務上表現優於 BERT 和 XLNet，涵蓋英語和中文任務。

📦 安裝指南

文檔未提及具體安裝步驟，可參考以下相關倉庫：

• 官方 PaddlePaddle ERNIE 倉庫：https://github.com/PaddlePaddle/ERNIE
• Pytorch 轉換倉庫：https://github.com/nghuyong/ERNIE-Pytorch

💻 使用示例

基礎用法

# 從預訓練模型加載分詞器和模型
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-large-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-large-en")

📚 詳細文檔

更多詳細信息請參考：https://arxiv.org/abs/1907.12412

📄 許可證

文檔未提及許可證信息。

📚 引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}