Vi Word Segmentation

🚀 越南语分词模型

本模型是在vlsp 2013越南语分词数据集上对 NlpHUST/electra-base-vn 进行微调后的版本。该模型在评估集上取得了以下成绩：

• 损失值：0.0501
• 精确率：0.9833
• 召回率：0.9838
• F1值：0.9835
• 准确率：0.9911

🚀 快速开始

你可以使用Transformers的 pipeline 对该模型进行命名实体识别（NER）任务。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")

nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"

ner_results = nlp(example)
example_tok = ""
for e in ner_results:
    if "##" in e["word"]:
        example_tok = example_tok + e["word"].replace("##","")
    elif e["entity"] =="I":
        example_tok = example_tok + "_" + e["word"]
    else:
        example_tok = example_tok + " " + e["word"]
print(example_tok)

Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội của Quốc_hội sáng 28 / 10 , Bộ_trưởng Bộ LĐ - TB [UNK] XH Đào_Ngọc_Dung khái_quát , tại phiên khai_mạc kỳ họp , lãnh_đạo chính_phủ đã báo_cáo , đề_cập tương_đối rõ_ràng về việc thực_hiện các chính_sách an_sinh xã_hội

✨ 主要特性

• 微调模型：基于 NlpHUST/electra-base-vn 在越南语分词数据集上微调，适配越南语分词任务。
• 高性能表现：在评估集上，损失值低至0.0501，精确率、召回率、F1值和准确率都达到了较高水平，分别为0.9833、0.9838、0.9835和0.9911。
• 易于使用：可通过Transformers的 pipeline 直接进行命名实体识别任务。

📦 安装指南

文档未提供具体安装步骤，可参考Hugging Face相关库的安装方式：

pip install transformers datasets tokenizers torch

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")

nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"

ner_results = nlp(example)
example_tok = ""
for e in ner_results:
    if "##" in e["word"]:
        example_tok = example_tok + e["word"].replace("##","")
    elif e["entity"] =="I":
        example_tok = example_tok + "_" + e["word"]
    else:
        example_tok = example_tok + " " + e["word"]
print(example_tok)

高级用法

# 可根据实际需求对模型输出进行进一步处理，例如将结果存储到文件中
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")

nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"

ner_results = nlp(example)
example_tok = ""
for e in ner_results:
    if "##" in e["word"]:
        example_tok = example_tok + e["word"].replace("##","")
    elif e["entity"] =="I":
        example_tok = example_tok + "_" + e["word"]
    else:
        example_tok = example_tok + " " + e["word"]

# 将结果写入文件
with open('output.txt', 'w', encoding='utf-8') as f:
    f.write(example_tok)

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e - 05
• 训练批次大小：8
• 评估批次大小：4
• 随机种子：42
• 梯度累积步数：2
• 总训练批次大小：16
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 训练轮数：5.0

训练结果

框架版本

• Transformers 4.22.2
• Pytorch 1.12.1+cu113
• Datasets 2.4.0
• Tokenizers 0.12.1