Nusabert Ner V1.3

🚀 NusaBert-ner-v1.3

NusaBert-ner-v1.3 是 cahya/NusaBert-v1.3 在 grit-id/id_nergrit_corpus ner 数据集上的微调版本。该模型支持 8192 的上下文长度，与使用 ModernBERT 架构从头预训练的 cahya/NusaBert-v1.3 模型相同。在评估集上，它取得了出色的性能表现。

🚀 快速开始

使用以下代码示例，你可以快速开始使用 NusaBert-ner-v1.3 模型进行命名实体识别任务：

from transformers import pipeline
ner = pipeline("ner", model="cahya/NusaBert-ner-v1.3", grouped_entities=True)
text = "Jakarta, April 2025 - Polisi mengungkap sosok teman pemberi uang palsu kepada artis Sekar Arum Widara. Sosok tersebut ternyata adalah Bayu Setio Aribowo (BS), pegawai nonaktif Garuda yang ditangkap Polsek Tanah Abang di kasus serupa."
result = ner(text)
print(result)

✨ 主要特性

• 微调模型：基于预训练的 NusaBert-v1.3 模型在特定数据集上进行微调，更适合命名实体识别任务。
• 长上下文支持：支持 8192 的上下文长度，能够处理较长的文本。
• 优秀性能：在评估集上，该模型在精度、召回率、F1 值和准确率等指标上都取得了良好的成绩。

📚 详细文档

模型信息

评估结果

该模型在验证集上的评估结果如下：

数据集实体

数据集中包含以下 19 种实体：

    'CRD': Cardinal
    'DAT': Date
    'EVT': Event
    'FAC': Facility
    'GPE': Geopolitical Entity
    'LAW': Law Entity (such as Undang-Undang)
    'LOC': Location
    'MON': Money
    'NOR': Political Organization
    'ORD': Ordinal
    'ORG': Organization
    'PER': Person
    'PRC': Percent
    'PRD': Product
    'QTY': Quantity
    'REG': Religion
    'TIM': Time
    'WOA': Work of Art
    'LAN': Language

训练超参数

训练过程中使用的超参数如下：

• 学习率（learning_rate）：5e-05
• 训练批次大小（train_batch_size）：32
• 评估批次大小（eval_batch_size）：32
• 随机种子（seed）：42
• 分布式类型（distributed_type）：多 GPU（multi-GPU）
• 设备数量（num_devices）：2
• 总训练批次大小（total_train_batch_size）：64
• 总评估批次大小（total_eval_batch_size）：64
• 优化器（optimizer）：使用 adamw_torch，β1=0.9，β2=0.999，ε=1e-08，无额外优化器参数
• 学习率调度器类型（lr_scheduler_type）：线性（linear）
• 训练轮数（num_epochs）：3.0

框架版本

• Transformers：4.49.0
• Pytorch：2.5.1+cu124
• Datasets：2.19.2
• Tokenizers：0.21.0