Ernie Gram Zh

🚀 ERNIE-Gram-zh

ERNIE-Gramは、自然言語理解のために明示的なN-gramマスク言語モデリングを用いた事前学習モデルです。このモデルは自然言語処理のタスクにおいて高い性能を発揮します。

詳細はこちら: https://arxiv.org/abs/2010.12148

🚀 クイックスタート

ERNIE-Gram-zhを使うことで、自然言語処理の様々なタスクを効率的に行うことができます。以下に使用例を示します。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-gram-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-gram-zh")

✨ 主な機能

このモデルは、明示的なN-gramマスク言語モデリングを用いた事前学習により、自然言語理解の性能を向上させています。また、公開されたPytorchモデルは公式のPaddlePaddle ERNIEモデルから変換されており、変換の精度が検証されています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-gram-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-gram-zh")

📚 ドキュメント

公開されたモデル情報

公開されたPytorchモデルは、公式に公開されたPaddlePaddle ERNIEモデルから変換されており、変換の精度を確認するために一連の実験が行われています。

• 公式PaddlePaddle ERNIEリポジトリ: https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/ernie_gram/modeling.py
• Pytorch変換リポジトリ: https://github.com/nghuyong/ERNIE-Pytorch