Macbert4csc Scalarmix Base Chinese

🚀 誤字修正モデル

このモデルは、macbertを用いてmask language modelを微調整し、誤字修正を行うものです。

🚀 クイックスタート

このモデルは、shibing624/macbert4csc-base-chinese をベースに改変されています。対応するソースコードは こちら にあります。使用方法については、shibing624/macbert4csc-base-chinese を参照してください。

✨ 主な機能

このモデルでは主に以下の2点を改変しています。

1. MLMと誤字検出二値分類のハイパーパラメータを0.9と0.1に変更しました（最適なパラメータとは限りません）。
2. 誤字検出二値分類にScalarMix layerを導入しました。元のコードではhidden_statesの最後の層を使用していましたが、個人的には少し深すぎて学習が複雑になると感じました。

🔧 技術詳細

全体的に、誤字検出二値分類がモデル全体の性能に与える影響はそれほど大きくなく、モデル全体の性能も原作者のモデルを大きく上回っていません。そのため、このコードとモデルをアップロードするのは、学習の記録と思考のためです。

pycorrector eval.py で実行した結果は以下の通りです。

corpusデータセット:

Sentence Level: acc:0.7200, precision:0.8804, recall:0.6154, f1:0.7244, cost time:5.67 s

sighan2015データセット:

Sentence Level: acc:0.7973, precision:0.8265, recall:0.7459, f1:0.7841, cost time:11.19 s

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。