Ernie 3.0 Mini Zh

🚀 ERNIE-3.0-mini-zh

ERNIE-3.0-mini-zh是用于语言理解和生成的预训练模型，借助大规模知识增强技术，能有效提升相关任务的处理能力。更多详细信息可参考论文。

🚀 快速开始

ERNIE 3.0 是用于语言理解和生成的大规模知识增强预训练模型。更多详细内容请见：https://arxiv.org/abs/2107.02137

✨ 主要特性

本次发布的 PyTorch 模型是从官方发布的 PaddlePaddle ERNIE 模型转换而来，并且进行了一系列实验以确保转换的准确性。

• 官方 PaddlePaddle ERNIE 仓库：https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/ERNIE/contents.html
• PyTorch 转换仓库：https://github.com/nghuyong/ERNIE-Pytorch

💻 使用示例

基础用法

from transformers import BertTokenizer, ErnieModel

tokenizer = BertTokenizer.from_pretrained("nghuyong/ernie-3.0-mini-zh")
model = ErnieModel.from_pretrained("nghuyong/ernie-3.0-mini-zh")

📄 许可证

引用

如果您在研究中使用了该模型，请引用以下论文：

@article{sun2021ernie,
  title={Ernie 3.0: Large-scale knowledge enhanced pre-training for language understanding and generation},
  author={Sun, Yu and Wang, Shuohuan and Feng, Shikun and Ding, Siyu and Pang, Chao and Shang, Junyuan and Liu, Jiaxiang and Chen, Xuyi and Zhao, Yanbin and Lu, Yuxiang and others},
  journal={arXiv preprint arXiv:2107.02137},
  year={2021}
}