Macbert4csc Scalarmix Base Chinese

🚀 基於MacBert的錯字修改模型

本項目基於MacBert對Mask Language Model進行微調，實現錯字修改功能，具有一定的實用價值和學習意義。

🚀 快速開始

可參考shibing624/macbert4csc-base-chinese來使用本項目。

✨ 主要特性

本項目是在shibing624/macbert4csc-base-chinese的基礎上進行修改，對應的源碼位置。

🔧 技術細節

主要改動

主要對原項目做了兩處改動：

1. 將MLM和錯字檢測二分類超參改成0.9和0.1（當然不一定是最優參數）。
2. 對錯字檢測二分類引入一個ScalarMix layer，原代碼使用hidden_states最後一層，個人覺得稍微有點深以及學習起來可能更復雜。

效果評估

整體下來錯字檢測二分類對整體模型效果影響並沒有很突出，以及整體模型效果並沒有超出原作者多少，所以上傳這個代碼以及模型更多是為了學習記錄與思考。以pycorrector eval.py跑出來的結果如下：

corpus數據集

Sentence Level: acc:0.7200, precision:0.8804, recall:0.6154, f1:0.7244, cost time:5.67 s

sighan2015數據集

Sentence Level: acc:0.7973, precision:0.8265, recall:0.7459, f1:0.7841, cost time:11.19 s

📄 許可證

本項目採用Apache-2.0許可證。