Realise For Csc

🚀 ReaLiSe-for-csc

このモデルは、中文のスペル訂正（Chinese Spell Checking, CSC）を行うためのモデルです。元のモデルはReaLiSeのソースコードから提供されています。

原論文: https://arxiv.org/abs/2105.12306 原論文の公式コード: https://github.com/DaDaMrX/ReaLiSe

このモデルのSIGHAN2015での性能は以下の通りです。

🚀 クイックスタート

このモデルをGoogle Colabで試すことができます。

📦 インストール

必要なライブラリをインストールします。

!pip install transformers
!pip install pypinyin
!pip install boto3

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

inputs = tokenizer(["我是炼习时长两念半的个人练习生蔡徐坤"], return_tensors='pt')
output_hidden = model(**inputs).logits
print(''.join(tokenizer.convert_ids_to_tokens(output_hidden.argmax(-1)[0, 1:-1])))

出力:

我是练习时长两年半的个人练习生蔡徐坤

高度な使用法

このモデルにはpredictメソッドが用意されています。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

model.set_tokenizer(tokenizer)  # 使用predict方法前，调用该方法
print(model.predict("我是练习时长两念半的鸽仁练习生蔡徐坤"))
print(model.predict(["我是练习时长两念半的鸽仁练习生蔡徐坤", "喜换唱跳、rap 和 蓝球"]))

出力:

我是练习时长两年半的各仁练习生蔡徐坤
['我是练习时长两年半的各仁练习生蔡徐坤', '喜欢唱跳、rap 和 蓝球']

📚 ドキュメント

モデルの訓練

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)

inputs = tokenizer(["我是炼习时长两念半的个人练习生蔡徐坤", "喜换唱跳rap蓝球"],
                   text_target=["我是练习时长两年半的个人练习生蔡徐坤", "喜欢唱跳rap篮球"],
                   padding=True,
                   return_tensors='pt')
loss = model(**inputs).loss
print("loss:", loss)
loss.backward()

出力:

loss: tensor(0.6515, grad_fn=<NllLossBackward0>)

よくある質問

1. ネットワークの問題（例: Connection Error） 解決策: モデルをローカルにダウンロードして使用します。一括ダウンロードの方法はこのブログを参照してください。

2. モデルをローカルにダウンロードして使用する際にエラーが発生する（ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ReaLiSe-for-csc'） 解決策: iioSnail/ChineseBERT-for-csc を iioSnail\ChineseBERT-for-csc に変更するか、transformersをアップグレードします。

📄 ライセンス

このモデルはAFL-3.0ライセンスの下で提供されています。