Ernie 3.0 Nano Zh

🚀 ERNIE-3.0-nano-zh

ERNIE 3.0是用於語言理解和生成的大規模知識增強預訓練模型，本項目提供了對應的中文輕量級版本ERNIE-3.0-nano-zh，可助力自然語言處理相關任務。

🚀 快速開始

ERNIE 3.0-nano-zh是基於大規模知識增強的預訓練模型，可用於多種自然語言處理任務。以下是使用示例：

from transformers import BertTokenizer, ErnieModel

tokenizer = BertTokenizer.from_pretrained("nghuyong/ernie-3.0-nano-zh")
model = ErnieModel.from_pretrained("nghuyong/ernie-3.0-nano-zh")

✨ 主要特性

ERNIE 3.0是用於語言理解和生成的大規模知識增強預訓練模型。本項目發佈的PyTorch模型是從官方發佈的PaddlePaddle ERNIE模型轉換而來，並進行了一系列實驗以驗證轉換的準確性。

📚 詳細文檔

發佈模型信息

本發佈的PyTorch模型是從官方發佈的PaddlePaddle ERNIE模型轉換而來，並進行了一系列實驗以檢查轉換的準確性。

• 官方PaddlePaddle ERNIE倉庫：https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/ERNIE/contents.html
• PyTorch轉換倉庫：https://github.com/nghuyong/ERNIE-Pytorch

引用信息

@article{sun2021ernie,
  title={Ernie 3.0: Large-scale knowledge enhanced pre-training for language understanding and generation},
  author={Sun, Yu and Wang, Shuohuan and Feng, Shikun and Ding, Siyu and Pang, Chao and Shang, Junyuan and Liu, Jiaxiang and Chen, Xuyi and Zhao, Yanbin and Lu, Yuxiang and others},
  journal={arXiv preprint arXiv:2107.02137},
  year={2021}
}

更多詳細信息請參考：https://arxiv.org/abs/2107.02137