Chinesebert Base

🚀 ChineseBERT-base

このプロジェクトはChineseBERTを加工したもので、ユーザーはHuggingFace APIを直接使用して呼び出すことができ、余分なコード設定をする必要がありません。

🚀 クイックスタート

本プロジェクトの使用方法は以下の通りです。

📦 インストール

1. pypinyinをインストールします。

pip install pypinyin

💻 使用例

基本的な使用法

2. AutoClassを使用してtokenizerとmodelをロードします。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)

3. その後は通常のBERTの使用方法と同じです。

inputs = tokenizer(["我 喜 [MASK] 猫"], return_tensors='pt')
logits = model(**inputs).logits

print(tokenizer.decode(logits.argmax(-1)[0, 1:-1]))

出力結果：

tokenizer.decode(logits.argmax(-1)[0, 1:-1])

💡 使用例

hidden_stateを取得する方法：model.bert(**inputs).last_hidden_state

📚 ドキュメント

原論文情報

原論文のアドレスは以下の通りです。 ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Xiang Ao, Qing He, Fei Wu and Jiwei Li

原プロジェクト情報

原プロジェクトのアドレスは以下の通りです。 ChineseBERT github link

原モデル情報

原モデルのアドレスは以下の通りです。 ShannonAI/ChineseBERT-base (このモデルはHuggingFace APIを直接使用して呼び出すことができません)

🔧 技術詳細

よくある問題と解決策

1. ネットワークの問題、例えば Connection Error が発生した場合。

⚠️ 重要提示

解決策：モデルをローカルにダウンロードして使用します。一括ダウンロードの方法はこのブログを参照してください。

2. モデルをローカルにダウンロードして使用する際に ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ChineseBERT-base' というエラーが発生した場合。

⚠️ 重要提示

解決策：iioSnail/ChineseBERT-base を iioSnail\ChineseBERT-base に変更します。

📄 ライセンス

本プロジェクトはAFL-3.0ライセンスの下で提供されています。