Chatglm3 6b Csc Chinese Lora

🚀 ChatGLM3-6B中文糾錯LoRA模型

本模型是基於ChatGLM3-6B的中文糾錯LoRA模型，在CSC測試集上有高糾錯準確率。它不僅能糾錯，還具備句子潤色和改寫功能，能帶來超出預期的效果。

🚀 快速開始

安裝依賴

使用此模型前，需要安裝相關的Python庫。可以通過以下命令進行安裝：

pip install -U pycorrector

或

pip install transformers 

調用示例

使用pycorrector庫調用

from pycorrector import GptCorrector
model = GptCorrector("THUDM/chatglm3-6b", "chatglm", peft_name="shibing624/chatglm3-6b-csc-chinese-lora")
r = model.correct_batch(["少先隊員因該為老人讓坐。"])
print(r) # ['少先隊員應該為老人讓座。']

直接使用HuggingFace Transformers調用

import os

import torch
from peft import PeftModel
from transformers import AutoTokenizer, AutoModel

os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).half().cuda()
model = PeftModel.from_pretrained(model, "shibing624/chatglm3-6b-csc-chinese-lora")

sents = ['對下面文本糾錯\n\n少先隊員因該為老人讓坐。',
         '對下面文本糾錯\n\n下個星期，我跟我朋唷打算去法國玩兒。']


def get_prompt(user_query):
    vicuna_prompt = "A chat between a curious user and an artificial intelligence assistant. " \
                    "The assistant gives helpful, detailed, and polite answers to the user's questions. " \
                    "USER: {query} ASSISTANT:"
    return vicuna_prompt.format(query=user_query)


for s in sents:
    q = get_prompt(s)
    input_ids = tokenizer(q).input_ids
    generation_kwargs = dict(max_new_tokens=128, do_sample=True, temperature=0.8)
    outputs = model.generate(input_ids=torch.as_tensor([input_ids]).to('cuda:0'), **generation_kwargs)
    output_tensor = outputs[0][len(input_ids):]
    response = tokenizer.decode(output_tensor, skip_special_tokens=True)
    print(response)

輸出示例

少先隊員應該為老人讓座。
下個星期，我跟我朋友打算去法國玩兒。

✨ 主要特性

• 高準確率：在CSC測試集上生成結果糾錯準確率高。
• 多功能性：不僅能進行中文拼寫糾錯，還帶有句子潤色和改寫功能。
• 兼容性強：基於pycorrector項目，可支持ChatGLM原生模型和LoRA微調後的模型。

📦 安裝指南

使用pycorrector庫

pip install -U pycorrector

使用HuggingFace Transformers

pip install transformers 

💻 使用示例

基礎用法

使用pycorrector庫調用模型進行糾錯：

from pycorrector import GptCorrector
model = GptCorrector("THUDM/chatglm3-6b", "chatglm", peft_name="shibing624/chatglm3-6b-csc-chinese-lora")
r = model.correct_batch(["少先隊員因該為老人讓坐。"])
print(r) # ['少先隊員應該為老人讓座。']

高級用法

直接使用HuggingFace Transformers調用模型，可自定義更多參數：

import os

import torch
from peft import PeftModel
from transformers import AutoTokenizer, AutoModel

os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).half().cuda()
model = PeftModel.from_pretrained(model, "shibing624/chatglm3-6b-csc-chinese-lora")

sents = ['對下面文本糾錯\n\n少先隊員因該為老人讓坐。',
         '對下面文本糾錯\n\n下個星期，我跟我朋唷打算去法國玩兒。']


def get_prompt(user_query):
    vicuna_prompt = "A chat between a curious user and an artificial intelligence assistant. " \
                    "The assistant gives helpful, detailed, and polite answers to the user's questions. " \
                    "USER: {query} ASSISTANT:"
    return vicuna_prompt.format(query=user_query)


for s in sents:
    q = get_prompt(s)
    input_ids = tokenizer(q).input_ids
    generation_kwargs = dict(max_new_tokens=128, do_sample=True, temperature=0.8)
    outputs = model.generate(input_ids=torch.as_tensor([input_ids]).to('cuda:0'), **generation_kwargs)
    output_tensor = outputs[0][len(input_ids):]
    response = tokenizer.decode(output_tensor, skip_special_tokens=True)
    print(response)

📚 詳細文檔

模型評估

shibing624/chatglm3-6b-csc-chinese-lora 在CSC測試集上的表現如下：

模型文件組成

chatglm3-6b-csc-chinese-lora
    ├── adapter_config.json
    └── adapter_model.bin

訓練參數

訓練數據集

• 中文拼寫糾錯數據集：https://huggingface.co/datasets/shibing624/CSC
• 中文語法糾錯數據集：https://github.com/shibing624/pycorrector/tree/llm/examples/data/grammar
• 通用GPT4問答數據集：https://huggingface.co/datasets/shibing624/sharegpt_gpt4

如果需要訓練文本糾錯模型，請參考https://github.com/shibing624/pycorrector

🔧 技術細節

本模型基於THUDM/chatglm3-6b進行LoRA微調，使用了特定的訓練參數和數據集，在中文糾錯任務上取得了較好的效果。通過LoRA微調，模型能夠在不改變原模型結構的基礎上，學習到中文糾錯的特定知識。

📄 許可證

本項目採用apache-2.0許可證。

📚 引用

@software{pycorrector,
  author = {Ming Xu},
  title = {pycorrector: Text Error Correction Tool},
  year = {2023},
  url = {https://github.com/shibing624/pycorrector},
}