Distilbert Punctuator Zh

🚀 簡体中国語用句読点付与モデル

このモデルは、DistilBertForTokenClassification をベースに微調整されており、平文（簡体中国語）に句読点を付与するために使用されます。モデルは蒸留モデル bert-base-chinese をベースに微調整されています。

🚀 クイックスタート

モデルの読み込み

以下のコードを使用して、モデルとトークナイザーを読み込むことができます。

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_zh")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_zh")

📚 ドキュメント

モデル概要

学習データ

以下の3つのデータセットの組み合わせです。

• 2014年の人民日報のニュース記事。参照

モデル性能

• MSRA学習データセットを使用した検証。参照
• 評価指標レポート:

  	precision	recall	f1-score	support
  C_COMMA	0.67	0.59	0.63	91566
  C_DUNHAO	0.50	0.37	0.42	21013
  C_EXLAMATIONMARK	0.23	0.06	0.09	399
  C_PERIOD	0.84	0.99	0.91	44258
  C_QUESTIONMARK	0.00	1.00	0.00	0
  micro avg	0.71	0.67	0.69	157236
  macro avg	0.45	0.60	0.41	157236
  weighted avg	0.69	0.67	0.68	157236