Distilbert Punctuator Zh

🚀 簡體中文標點恢復器

該模型基於 DistilBertForTokenClassification 進行微調，用於為純文本（簡體中文）添加標點符號。它是基於蒸餾模型 bert-base-chinese 進行微調的。

🚀 快速開始

安裝依賴

你需要安裝 transformers 庫來使用這個模型。可以使用以下命令進行安裝：

pip install transformers

代碼示例

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_zh")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_zh")

✨ 主要特性

• 基於 DistilBertForTokenClassification 微調，能為簡體中文純文本添加標點。
• 基於蒸餾模型 bert-base-chinese 訓練，效率較高。

📚 詳細文檔

模型概述

訓練數據

模型的訓練數據由以下三個數據集組合而成：

• 2014 年人民日報的新聞文章。參考鏈接

模型性能

• 使用 MSRA 訓練數據集進行驗證。參考鏈接
• 指標報告： | 類別 | 精確率 | 召回率 | F1 分數 | 樣本數 | | ---- | ---- | ---- | ---- | ---- | | C_COMMA | 0.67 | 0.59 | 0.63 | 91566 | | C_DUNHAO | 0.50 | 0.37 | 0.42 | 21013 | | C_EXLAMATIONMARK | 0.23 | 0.06 | 0.09 | 399 | | C_PERIOD | 0.84 | 0.99 | 0.91 | 44258 | | C_QUESTIONMARK | 0.00 | 1.00 | 0.00 | 0 | | micro avg | 0.71 | 0.67 | 0.69 | 157236 | | macro avg | 0.45 | 0.60 | 0.41 | 157236 | | weighted avg | 0.69 | 0.67 | 0.68 | 157236 |