Nusabert Ner V1.3

🚀 NusaBert-ner-v1.3

NusaBert-ner-v1.3 是 cahya/NusaBert-v1.3 在 grit-id/id_nergrit_corpus ner 數據集上的微調版本。該模型支持 8192 的上下文長度，與使用 ModernBERT 架構從頭預訓練的 cahya/NusaBert-v1.3 模型相同。在評估集上，它取得了出色的性能表現。

🚀 快速開始

使用以下代碼示例，你可以快速開始使用 NusaBert-ner-v1.3 模型進行命名實體識別任務：

from transformers import pipeline
ner = pipeline("ner", model="cahya/NusaBert-ner-v1.3", grouped_entities=True)
text = "Jakarta, April 2025 - Polisi mengungkap sosok teman pemberi uang palsu kepada artis Sekar Arum Widara. Sosok tersebut ternyata adalah Bayu Setio Aribowo (BS), pegawai nonaktif Garuda yang ditangkap Polsek Tanah Abang di kasus serupa."
result = ner(text)
print(result)

✨ 主要特性

• 微調模型：基於預訓練的 NusaBert-v1.3 模型在特定數據集上進行微調，更適合命名實體識別任務。
• 長上下文支持：支持 8192 的上下文長度，能夠處理較長的文本。
• 優秀性能：在評估集上，該模型在精度、召回率、F1 值和準確率等指標上都取得了良好的成績。

📚 詳細文檔

模型信息

評估結果

該模型在驗證集上的評估結果如下：

數據集實體

數據集中包含以下 19 種實體：

    'CRD': Cardinal
    'DAT': Date
    'EVT': Event
    'FAC': Facility
    'GPE': Geopolitical Entity
    'LAW': Law Entity (such as Undang-Undang)
    'LOC': Location
    'MON': Money
    'NOR': Political Organization
    'ORD': Ordinal
    'ORG': Organization
    'PER': Person
    'PRC': Percent
    'PRD': Product
    'QTY': Quantity
    'REG': Religion
    'TIM': Time
    'WOA': Work of Art
    'LAN': Language

訓練超參數

訓練過程中使用的超參數如下：

• 學習率（learning_rate）：5e-05
• 訓練批次大小（train_batch_size）：32
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 分佈式類型（distributed_type）：多 GPU（multi-GPU）
• 設備數量（num_devices）：2
• 總訓練批次大小（total_train_batch_size）：64
• 總評估批次大小（total_eval_batch_size）：64
• 優化器（optimizer）：使用 adamw_torch，β1=0.9，β2=0.999，ε=1e-08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性（linear）
• 訓練輪數（num_epochs）：3.0

框架版本

• Transformers：4.49.0
• Pytorch：2.5.1+cu124
• Datasets：2.19.2
• Tokenizers：0.21.0