Chinese Text Correction 7b

🚀 中文文本糾錯模型

本項目提供的中文文本糾錯模型，可用於拼寫糾錯和語法糾錯，能有效提升文本的準確性和規範性。

🚀 快速開始

使用pycorrector調用模型

本項目開源在pycorrector項目：pycorrector，可支持大模型微調後用於文本糾錯，通過如下命令調用：

安裝依賴包：

pip install -U pycorrector

from pycorrector.gpt.gpt_corrector import GptCorrector

if __name__ == '__main__':
    error_sentences = [
        '真麻煩你了。希望你們好好的跳無',
        '少先隊員因該為老人讓坐',
        '機七學習是人工智能領遇最能體現智能的一個分知',
        '一隻小魚船浮在平淨的河面上',
        '我的家鄉是有明的漁米之鄉',
    ]
    m = GptCorrector("shibing624/chinese-text-correction-7b")

    batch_res = m.correct_batch(error_sentences)
    for i in batch_res:
        print(i)
        print()

使用HuggingFace Transformers調用模型

若不使用 pycorrector，可以按如下方式使用模型：

首先，將輸入數據傳入transformer模型，然後得到生成的句子。

安裝依賴包：

pip install transformers 

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "shibing624/chinese-text-correction-7b"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

input_content = "文本糾錯：\n少先隊員因該為老人讓坐。"

messages = [{"role": "user", "content": input_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)

print(input_text)

inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)

print(tokenizer.decode(outputs[0]))

輸出結果：

少先隊員應該為老人讓座。

✨ 主要特性

• 多類型糾錯：支持拼寫糾錯、語法糾錯，涵蓋音似、形似、多字、少字等多種錯誤類型。
• 多方式調用：既可以通過pycorrector項目調用，也能使用HuggingFace Transformers直接調用。
• 多模型可選：提供不同規模的模型，如chinese-text-correction-1.5b、chinese-text-correction-7b等，滿足不同場景需求。

📦 安裝指南

使用pycorrector

pip install -U pycorrector

使用HuggingFace Transformers

pip install transformers 

💻 使用示例

基礎用法

# 使用pycorrector進行文本糾錯
from pycorrector.gpt.gpt_corrector import GptCorrector

if __name__ == '__main__':
    error_sentences = [
        '真麻煩你了。希望你們好好的跳無',
        '少先隊員因該為老人讓坐',
        '機七學習是人工智能領遇最能體現智能的一個分知',
        '一隻小魚船浮在平淨的河面上',
        '我的家鄉是有明的漁米之鄉',
    ]
    m = GptCorrector("shibing624/chinese-text-correction-7b")

    batch_res = m.correct_batch(error_sentences)
    for i in batch_res:
        print(i)
        print()

高級用法

# 使用HuggingFace Transformers直接調用模型進行文本糾錯
# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "shibing624/chinese-text-correction-7b"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

input_content = "文本糾錯：\n少先隊員因該為老人讓坐。"

messages = [{"role": "user", "content": input_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)

print(input_text)

inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)

print(tokenizer.decode(outputs[0]))

📚 詳細文檔

模型列表

評估結果

• 評估指標：F1
• CSC(Chinese Spelling Correction)：拼寫糾錯模型，表示模型可以處理音似、形似、語法等長度對齊的錯誤糾正。
• CTC(CHinese Text Correction)：文本糾錯模型，表示模型支持拼寫、語法等長度對齊的錯誤糾正，還可以處理多字、少字等長度不對齊的錯誤糾正。
• GPU：Tesla V100，顯存 32 GB

模型文件組成

shibing624/chinese-text-correction-7b
|-- added_tokens.json
|-- config.json
|-- generation_config.json
|-- merges.txt
|-- model.safetensors
|-- model.safetensors.index.json
|-- README.md
|-- special_tokens_map.json
|-- tokenizer_config.json
|-- tokenizer.json
`-- vocab.json

訓練參數

• 訓練輪數（num_epochs）：8
• 批次大小（batch_size）：2
• 訓練步數（steps）：36000
• 評估損失（eval_loss）：0.12
• 基礎模型（base model）：Qwen/Qwen2.5 - 7B - Instruct
• 訓練數據（train data）：shibing624/chinese_text_correction
• 訓練時間（train time）：10 天
• 評估損失曲線：
• 訓練損失曲線：

訓練數據集

中文糾錯數據集

• 數據：shibing624/chinese_text_correction

訓練參考

如果需要訓練Qwen的糾錯模型，請參考https://github.com/shibing624/pycorrector 或者 https://github.com/shibing624/MedicalGPT

🔧 技術細節

本模型基於Qwen系列基礎模型進行微調，使用特定的訓練數據和訓練參數，以提升在中文文本糾錯任務上的性能。通過F1指標進行評估，在不同的測試數據集上表現良好。

📄 許可證

本項目採用apache - 2.0許可證。

📖 引用

@software{pycorrector,
  author = {Xu Ming},
  title = {pycorrector: Implementation of language model finetune},
  year = {2024},
  url = {https://github.com/shibing624/pycorrector},
}