Vi Word Segmentation

🚀 ベトナム語単語分割モデル（vi-word-segmentation）

このモデルは、NlpHUST/electra-base-vn をvlsp 2013ベトナム語単語分割データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0501
• 精度（Precision）: 0.9833
• 再現率（Recall）: 0.9838
• F1スコア: 0.9835
• 正解率（Accuracy）: 0.9911

🚀 クイックスタート

このモデルは、Transformersの pipeline を使用して固有表現認識（NER）に利用できます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")

nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"

ner_results = nlp(example)
example_tok = ""
for e in ner_results:
    if "##" in e["word"]:
        example_tok = example_tok + e["word"].replace("##","")
    elif e["entity"] =="I":
        example_tok = example_tok + "_" + e["word"]
    else:
        example_tok = example_tok + " " + e["word"]
print(example_tok)

Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội của Quốc_hội sáng 28 / 10 , Bộ_trưởng Bộ LĐ - TB [UNK] XH Đào_Ngọc_Dung khái_quát , tại phiên khai_mạc kỳ họp , lãnh_đạo chính_phủ đã báo_cáo , đề_cập tương_đối rõ_ràng về việc thực_hiện các chính_sách an_sinh xã_hội

📚 ドキュメント

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率（learning_rate）: 5e-05
• トレーニングバッチサイズ（train_batch_size）: 8
• 評価バッチサイズ（eval_batch_size）: 4
• 乱数シード（seed）: 42
• 勾配累積ステップ数（gradient_accumulation_steps）: 2
• 総トレーニングバッチサイズ（total_train_batch_size）: 16
• オプティマイザ（optimizer）: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類（lr_scheduler_type）: 線形
• エポック数（num_epochs）: 5.0

トレーニング結果

フレームワークバージョン

• Transformers 4.22.2
• Pytorch 1.12.1+cu113
• Datasets 2.4.0
• Tokenizers 0.12.1