Ernie 1.0 Base Zh

🚀 ERNIE-1.0

ERNIE (Enhanced Representation through kNowledge IntEgration)は、百度が2019年に提案したモデルです。このモデルは、エンティティレベルのマスキングやフレーズレベルのマスキングなどの知識マスキング戦略を用いて、強化された言語表現を学習するように設計されています。実験結果によると、ERNIEは自然言語推論、意味的類似度、固有表現認識、感情分析、質問応答など、5つの中国語自然言語処理タスクで最先端の結果を達成しています。

詳細はこちら: https://arxiv.org/abs/1904.09223

🚀 クイックスタート

ERNIE (Enhanced Representation through kNowledge IntEgration)は、百度が2019年に提案したモデルで、知識マスキング戦略により強化された言語表現を学習するように設計されています。

✨ 主な機能

• エンティティレベルとフレーズレベルのマスキング戦略を用いて、強化された言語表現を学習。
• 5つの中国語自然言語処理タスクで最先端の結果を達成。

📦 インストール

この公開されたPyTorchモデルは、公式に公開されたPaddlePaddleのERNIEモデルから変換されたもので、変換の精度を確認するために一連の実験が行われています。

• 公式PaddlePaddle ERNIEリポジトリ: https://github.com/PaddlePaddle/ERNIE
• PyTorch変換リポジトリ: https://github.com/nghuyong/ERNIE-Pytorch

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-1.0-base-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-1.0-base-zh")

📚 ドキュメント

モデル情報

引用情報

@article{sun2019ernie,
  title={Ernie: Enhanced representation through knowledge integration},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Chen, Xuyi and Zhang, Han and Tian, Xin and Zhu, Danxiang and Tian, Hao and Wu, Hua},
  journal={arXiv preprint arXiv:1904.09223},
  year={2019}
}