distilbert_punctuator_en開源模型 - 免費為無標點英文文本恢復標點

Home

Distilbert Punctuator En

Developed by Qishuai

基於DistilBERT微調的英文文本標點恢復模型，專為無標點的小寫英文文本添加標點符號。

序列標註

Transformers

#英文標點恢復 #新聞文本處理 #輕量級BERT

Downloads 55

Release Time : 3/2/2022

Model Overview

該模型能夠自動為無標點的小寫英文文本添加逗號、句號、問號和感嘆號等標點符號，提升文本可讀性。

Model Features

高效輕量

基於DistilBERT架構，在保持較高性能的同時減少模型大小和計算資源需求

多源訓練數據

整合BBC新聞、新聞文章和TED演講三種不同來源的文本數據，增強模型泛化能力

標點類型覆蓋

支持恢復逗號、句號、問號和感嘆號四種常見英文標點符號

Model Capabilities

英文文本標點恢復

無標點文本處理

小寫文本規範化

Use Cases

文本預處理

語音轉文字後處理

為語音識別系統輸出的無標點文本添加標點符號

提升轉錄文本的可讀性和後續處理效果

新聞文本規範化

處理網絡抓取的無標點新聞文本

使新聞內容更符合出版標準

輔助寫作

快速寫作輔助

為快速輸入的無標點文本自動添加標點

提高寫作效率，減少後期編輯工作

🚀 無大小寫區分英文標點恢復器

本模型基於 DistilBertForTokenClassification 進行微調，用於為純文本（無大小寫區分的英文）添加標點符號。

🚀 快速開始

💻 使用示例

基礎用法

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_en")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_en")

📚 詳細文檔

🔧 技術細節

訓練數據

本模型的訓練數據由以下三個數據集組合而成：

BBC新聞：來自BBC新聞網站，涵蓋2004 - 2005年五個主題領域的新聞報道。參考鏈接
新聞文章：2017年2月至8月期間從《印度教徒報》、《印度時報》和《衛報》抓取的20000篇短新聞文章樣本。參考鏈接
TED演講：2004年至2019年期間4000多場TED演講的文字記錄。參考鏈接

模型性能

驗證集1：使用從https://www.thenews.com.pk 網站抓取的500個樣本進行驗證。參考鏈接
評估指標報告： | 屬性 | 精度 | 召回率 | F1值 | 樣本數 | |------|------|------|------|------| | 逗號（COMMA） | 0.66 | 0.55 | 0.60 | 7064 | | 感嘆號（EXLAMATIONMARK） | 1.00 | 0.00 | 0.00 | 5 | | 句號（PERIOD） | 0.73 | 0.63 | 0.68 | 6573 | | 問號（QUESTIONMARK） | 0.54 | 0.41 | 0.47 | 17 | | 微平均（micro avg） | 0.69 | 0.59 | 0.64 | 13659 | | 宏平均（macro avg） | 0.73 | 0.40 | 0.44 | 13659 | | 加權平均（weighted avg） | 0.69 | 0.59 | 0.64 | 13659 |
驗證集2：使用2020年未包含在訓練數據集中的86篇TED演講新聞進行驗證。參考鏈接
評估指標報告： | 屬性 | 精度 | 召回率 | F1值 | 樣本數 | |------|------|------|------|------| | 逗號（COMMA） | 0.71 | 0.56 | 0.63 | 10712 | | 感嘆號（EXLAMATIONMARK） | 0.45 | 0.07 | 0.12 | 75 | | 句號（PERIOD） | 0.75 | 0.65 | 0.70 | 7921 | | 問號（QUESTIONMARK） | 0.73 | 0.67 | 0.70 | 827 | | 微平均（micro avg） | 0.73 | 0.60 | 0.66 | 19535 | | 宏平均（macro avg） | 0.66 | 0.49 | 0.53 | 19535 | | 加權平均（weighted avg） | 0.73 | 0.60 | 0.66 | 19535 |