Mengzi T5 Base Chinese Correction

🚀 T5 中文拼写纠错模型

本模型用于中文拼写纠错，在 SIGHAN2015 测试数据上表现出色，通过微调中文纠错数据集，展现出巨大的纠错潜力。

🚀 快速开始

本项目开源在中文文本纠错项目：pycorrector，可支持 t5 模型，通过如下命令调用：

pip install -U pycorrector

运行示例代码：

from pycorrector.t5.t5_corrector import T5Corrector
nlp = T5Corrector("shibing624/mengzi-t5-base-chinese-correction").batch_t5_correct
i = "今天新情很好"
print(i, ' => ', nlp([i]))

输出结果：

今天新情很好  =>  今天心情很好 [('新', '心', 2, 3)]

✨ 主要特性

• 评估效果佳：shibing624/mengzi-t5-base-chinese-correction 评估 SIGHAN2015 测试数据，句子级别精确率为 0.8321，召回率为 0.6390，F1 值为 0.7229。
• 接近 SOTA 水平：训练使用 “SIGHAN+Wang271K 中文纠错数据集”，在 SIGHAN2015 的测试集上达到接近 SOTA 水平。
• 模型潜力大：未改动模型结构，通过 finetune 中文纠错数据集，纠错效果良好。

📦 安装指南

通过以下命令安装所需依赖：

pip install -U pycorrector

💻 使用示例

基础用法

from pycorrector.t5.t5_corrector import T5Corrector
nlp = T5Corrector("shibing624/mengzi-t5-base-chinese-correction").batch_t5_correct
i = "今天新情很好"
print(i, ' => ', nlp([i]))

高级用法

如果需要训练 t5 - correction，请参考https://github.com/shibing624/pycorrector/tree/master/pycorrector/t5

📚 详细文档

模型文件组成

mengzi-t5-base-chinese-correction
|-- config.json
|-- pytorch_model.bin
|-- special_tokens_map.json
|-- spiece.model
|-- tokenizer_config.json
`-- tokenizer.json

训练数据集

SIGHAN+Wang271K 中文纠错数据集

SIGHAN+Wang271K 中文纠错数据集的数据格式：

[
    {
        "id": "B2-4029-3",
        "original_text": "晚间会听到嗓音，白天的时候大家都不会太在意，但是在睡觉的时候这嗓音成为大家的恶梦。",
        "wrong_ids": [
            5,
            31
        ],
        "correct_text": "晚间会听到噪音，白天的时候大家都不会太在意，但是在睡觉的时候这噪音成为大家的恶梦。"
    }
]

📄 许可证

本项目采用 apache - 2.0 许可证。

📚 引用信息

@software{pycorrector,
  author = {Xu Ming},
  title = {pycorrector: Text Error Correction Tool},
  year = {2021},
  url = {https://github.com/shibing624/pycorrector},
}