Chinese Text Correction 7b

🚀 中文文本纠错模型

本项目提供的中文文本纠错模型，可用于拼写纠错和语法纠错，能有效提升文本的准确性和规范性。

🚀 快速开始

使用pycorrector调用模型

本项目开源在pycorrector项目：pycorrector，可支持大模型微调后用于文本纠错，通过如下命令调用：

安装依赖包：

pip install -U pycorrector

from pycorrector.gpt.gpt_corrector import GptCorrector

if __name__ == '__main__':
    error_sentences = [
        '真麻烦你了。希望你们好好的跳无',
        '少先队员因该为老人让坐',
        '机七学习是人工智能领遇最能体现智能的一个分知',
        '一只小鱼船浮在平净的河面上',
        '我的家乡是有明的渔米之乡',
    ]
    m = GptCorrector("shibing624/chinese-text-correction-7b")

    batch_res = m.correct_batch(error_sentences)
    for i in batch_res:
        print(i)
        print()

使用HuggingFace Transformers调用模型

若不使用 pycorrector，可以按如下方式使用模型：

首先，将输入数据传入transformer模型，然后得到生成的句子。

安装依赖包：

pip install transformers 

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "shibing624/chinese-text-correction-7b"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

input_content = "文本纠错：\n少先队员因该为老人让坐。"

messages = [{"role": "user", "content": input_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)

print(input_text)

inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)

print(tokenizer.decode(outputs[0]))

输出结果：

少先队员应该为老人让座。

✨ 主要特性

• 多类型纠错：支持拼写纠错、语法纠错，涵盖音似、形似、多字、少字等多种错误类型。
• 多方式调用：既可以通过pycorrector项目调用，也能使用HuggingFace Transformers直接调用。
• 多模型可选：提供不同规模的模型，如chinese-text-correction-1.5b、chinese-text-correction-7b等，满足不同场景需求。

📦 安装指南

使用pycorrector

pip install -U pycorrector

使用HuggingFace Transformers

pip install transformers 

💻 使用示例

基础用法

# 使用pycorrector进行文本纠错
from pycorrector.gpt.gpt_corrector import GptCorrector

if __name__ == '__main__':
    error_sentences = [
        '真麻烦你了。希望你们好好的跳无',
        '少先队员因该为老人让坐',
        '机七学习是人工智能领遇最能体现智能的一个分知',
        '一只小鱼船浮在平净的河面上',
        '我的家乡是有明的渔米之乡',
    ]
    m = GptCorrector("shibing624/chinese-text-correction-7b")

    batch_res = m.correct_batch(error_sentences)
    for i in batch_res:
        print(i)
        print()

高级用法

# 使用HuggingFace Transformers直接调用模型进行文本纠错
# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "shibing624/chinese-text-correction-7b"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

input_content = "文本纠错：\n少先队员因该为老人让坐。"

messages = [{"role": "user", "content": input_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)

print(input_text)

inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)

print(tokenizer.decode(outputs[0]))

📚 详细文档

模型列表

评估结果

• 评估指标：F1
• CSC(Chinese Spelling Correction)：拼写纠错模型，表示模型可以处理音似、形似、语法等长度对齐的错误纠正。
• CTC(CHinese Text Correction)：文本纠错模型，表示模型支持拼写、语法等长度对齐的错误纠正，还可以处理多字、少字等长度不对齐的错误纠正。
• GPU：Tesla V100，显存 32 GB

模型文件组成

shibing624/chinese-text-correction-7b
|-- added_tokens.json
|-- config.json
|-- generation_config.json
|-- merges.txt
|-- model.safetensors
|-- model.safetensors.index.json
|-- README.md
|-- special_tokens_map.json
|-- tokenizer_config.json
|-- tokenizer.json
`-- vocab.json

训练参数

• 训练轮数（num_epochs）：8
• 批次大小（batch_size）：2
• 训练步数（steps）：36000
• 评估损失（eval_loss）：0.12
• 基础模型（base model）：Qwen/Qwen2.5 - 7B - Instruct
• 训练数据（train data）：shibing624/chinese_text_correction
• 训练时间（train time）：10 天
• 评估损失曲线：
• 训练损失曲线：

训练数据集

中文纠错数据集

• 数据：shibing624/chinese_text_correction

训练参考

如果需要训练Qwen的纠错模型，请参考https://github.com/shibing624/pycorrector 或者 https://github.com/shibing624/MedicalGPT

🔧 技术细节

本模型基于Qwen系列基础模型进行微调，使用特定的训练数据和训练参数，以提升在中文文本纠错任务上的性能。通过F1指标进行评估，在不同的测试数据集上表现良好。

📄 许可证

本项目采用apache - 2.0许可证。

📖 引用

@software{pycorrector,
  author = {Xu Ming},
  title = {pycorrector: Implementation of language model finetune},
  year = {2024},
  url = {https://github.com/shibing624/pycorrector},
}