Distilbert Punctuator En

🚀 大文字小文字を区別しない英語用の句読点付与モデル

このモデルは、DistilBertForTokenClassification をベースにファインチューニングされており、平文（大文字小文字を区別しない英語）に句読点を付与するために使用されます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_en")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_en")

📚 ドキュメント

モデル概要

学習データ

以下の3つのデータセットを組み合わせたものです：

• BBCニュース：2004年から2005年までの5つのトピック領域の記事に対応するBBCニュースウェブサイトからのデータ。参照
• ニュース記事：2017年2月から2017年8月までにHindu、Indian times、Guardianからスクレイピングされた20000件の短いニュース記事のサンプル。参照
• Tedトーク：2004年から2019年までの4000以上のTedトークの文字起こし。参照

モデルの性能

• https://www.thenews.com.pk ウェブサイトからスクレイピングされたデータセットの500サンプルでの検証。参照

• 評価指標レポート：

  	適合率	再現率	F1値	サポート
  COMMA	0.66	0.55	0.60	7064
  EXLAMATIONMARK	1.00	0.00	0.00	5
  PERIOD	0.73	0.63	0.68	6573
  QUESTIONMARK	0.54	0.41	0.47	17
  micro avg	0.69	0.59	0.64	13659
  macro avg	0.73	0.40	0.44	13659
  weighted avg	0.69	0.59	0.64	13659

• 学習データセットに含まれていない2020年の86件のニュースTedトークでの検証。参照

• 評価指標レポート：

  	適合率	再現率	F1値	サポート
  COMMA	0.71	0.56	0.63	10712
  EXLAMATIONMARK	0.45	0.07	0.12	75
  PERIOD	0.75	0.65	0.70	7921
  QUESTIONMARK	0.73	0.67	0.70	827
  micro avg	0.73	0.60	0.66	19535
  macro avg	0.66	0.49	0.53	19535
  weighted avg	0.73	0.60	0.66	19535