Chinesebert Base

🚀 ChineseBERT-base

本項目對ChineseBERT進行了加工，使用者可直接通過HuggingFace API調用，無需進行額外的代碼配置，為使用該模型提供了極大的便利。

🚀 快速開始

點擊下方按鈕可在Colab中快速體驗：

📦 安裝指南

安裝pypinyin

pip install pypinyin

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)

高級用法

# 後續使用與普通BERT一致
inputs = tokenizer(["我 喜 [MASK] 貓"], return_tensors='pt')
logits = model(**inputs).logits

print(tokenizer.decode(logits.argmax(-1)[0, 1:-1]))

輸出：

tokenizer.decode(logits.argmax(-1)[0, 1:-1])

💡 使用建議

獲取hidden_state的方法：model.bert(**inputs).last_hidden_state

📚 詳細文檔

原論文地址

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Xiang Ao, Qing He, Fei Wu and Jiwei Li

原項目地址

ChineseBERT github link

原模型地址

ShannonAI/ChineseBERT-base (該模型無法直接使用HuggingFace API調用)

📚 常見問題解答

網絡問題，例如：Connection Error

解決方案：將模型下載到本地使用。批量下載方案可參考該博客

將模型下載到本地使用時出現報錯：ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ChineseBERT-base'

解決方案：將 iioSnail/ChineseBERT-base 改為 iioSnail\ChineseBERT-base

📄 許可證

本項目採用AFL-3.0許可證。