Distilbert Punctuator En

🚀 無大小寫區分英文標點恢復器

本模型基於 DistilBertForTokenClassification 進行微調，用於為純文本（無大小寫區分的英文）添加標點符號。

🚀 快速開始

💻 使用示例

基礎用法

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_en")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_en")

📚 詳細文檔

🔧 技術細節

訓練數據

本模型的訓練數據由以下三個數據集組合而成：

• BBC新聞：來自BBC新聞網站，涵蓋2004 - 2005年五個主題領域的新聞報道。參考鏈接
• 新聞文章：2017年2月至8月期間從《印度教徒報》、《印度時報》和《衛報》抓取的20000篇短新聞文章樣本。參考鏈接
• TED演講：2004年至2019年期間4000多場TED演講的文字記錄。參考鏈接

模型性能

• 驗證集1：使用從https://www.thenews.com.pk 網站抓取的500個樣本進行驗證。參考鏈接

• 評估指標報告： | 屬性 | 精度 | 召回率 | F1值 | 樣本數 | |------|------|------|------|------| | 逗號（COMMA） | 0.66 | 0.55 | 0.60 | 7064 | | 感嘆號（EXLAMATIONMARK） | 1.00 | 0.00 | 0.00 | 5 | | 句號（PERIOD） | 0.73 | 0.63 | 0.68 | 6573 | | 問號（QUESTIONMARK） | 0.54 | 0.41 | 0.47 | 17 | | 微平均（micro avg） | 0.69 | 0.59 | 0.64 | 13659 | | 宏平均（macro avg） | 0.73 | 0.40 | 0.44 | 13659 | | 加權平均（weighted avg） | 0.69 | 0.59 | 0.64 | 13659 |

• 驗證集2：使用2020年未包含在訓練數據集中的86篇TED演講新聞進行驗證。參考鏈接

• 評估指標報告： | 屬性 | 精度 | 召回率 | F1值 | 樣本數 | |------|------|------|------|------| | 逗號（COMMA） | 0.71 | 0.56 | 0.63 | 10712 | | 感嘆號（EXLAMATIONMARK） | 0.45 | 0.07 | 0.12 | 75 | | 句號（PERIOD） | 0.75 | 0.65 | 0.70 | 7921 | | 問號（QUESTIONMARK） | 0.73 | 0.67 | 0.70 | 827 | | 微平均（micro avg） | 0.73 | 0.60 | 0.66 | 19535 | | 宏平均（macro avg） | 0.66 | 0.49 | 0.53 | 19535 | | 加權平均（weighted avg） | 0.73 | 0.60 | 0.66 | 19535 |