Realise For Csc

🚀 ReaLiSe-for-csc

ReaLiSe-for-csc 是一箇中文拼寫糾錯（Chinese Spell Checking, CSC）模型，該模型源於 ReaLiSe 源碼提供的模型。它能有效識別並糾正中文文本中的拼寫錯誤，提升文本的準確性和質量。

🚀 快速開始

你可以點擊下面的按鈕在 Colab 中快速體驗本模型：

✨ 主要特性

• 源於經典：基於 ReaLiSe 源碼提供的模型，具有可靠的技術基礎。
• 效果顯著：在 SIGHAN2015 數據集上有良好的表現，能準確檢測和糾正中文拼寫錯誤。

📦 安裝指南

安裝模型所需的依賴：

!pip install transformers
!pip install pypinyin
!pip install boto3

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

inputs = tokenizer(["我是煉習時長兩念半的個人練習生蔡徐坤"], return_tensors='pt')
output_hidden = model(**inputs).logits
print(''.join(tokenizer.convert_ids_to_tokens(output_hidden.argmax(-1)[0, 1:-1])))

輸出：

我是練習時長兩年半的個人練習生蔡徐坤

高級用法

你也可以使用本模型封裝的predict方法：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

model.set_tokenizer(tokenizer)  # 使用predict方法前，調用該方法
print(model.predict("我是練習時長兩念半的鴿仁練習生蔡徐坤"))
print(model.predict(["我是練習時長兩念半的鴿仁練習生蔡徐坤", "喜換唱跳、rap 和 藍球"]))

輸出：

我是練習時長兩年半的各仁練習生蔡徐坤
['我是練習時長兩年半的各仁練習生蔡徐坤', '喜歡唱跳、rap 和 藍球']

📚 詳細文檔

模型表現

本模型在 SIGHAN2015 上的表現如下：

模型訓練

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

inputs = tokenizer(["我是煉習時長兩念半的個人練習生蔡徐坤", "喜換唱跳rap藍球"],
                   text_target=["我是練習時長兩年半的個人練習生蔡徐坤", "喜歡唱跳rap籃球"],
                   padding=True,
                   return_tensors='pt')
loss = model(**inputs).loss
print("loss:", loss)
loss.backward()

輸出：

loss: tensor(0.6515, grad_fn=<NllLossBackward0>)

常見問題

1. 網絡問題，例如：Connection Error

   • 解決方案：將模型下載到本地使用。批量下載方案可參考該博客

2. 將模型下載到本地使用時出現報錯：ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ReaLiSe-for-csc'

   • 解決方案：將 iioSnail/ChineseBERT-for-csc 改為 iioSnail\ChineseBERT-for-csc，或升級transformers

📄 許可證

本項目採用 AFL-3.0 許可證。