Sahajbert NER

🚀 sahajBERT命名實體識別

sahajBERT是一個針對孟加拉語的命名實體識別（NER）模型，它基於預訓練的sahajBERT模型進行微調，能夠準確識別孟加拉語文本中的人名、組織名和地名等實體，在相關任務中表現出色。

🚀 快速開始

你可以使用以下代碼直接調用該模型進行分詞分類：

from transformers import AlbertForTokenClassification, TokenClassificationPipeline, PreTrainedTokenizerFast

# Initialize tokenizer
tokenizer = PreTrainedTokenizerFast.from_pretrained("neuropark/sahajBERT-NER")

# Initialize model
model = AlbertForTokenClassification.from_pretrained("neuropark/sahajBERT-NER")

# Initialize pipeline
pipeline = TokenClassificationPipeline(tokenizer=tokenizer, model=model)

raw_text = "এই ইউনিয়নে ৩ টি মৌজা ও ১০ টি গ্রাম আছে ।" # Change me
output = pipeline(raw_text)

✨ 主要特性

• 協作性：支持多方面的協作應用。
• 孟加拉語適配：專門針對孟加拉語進行了優化。
• 命名實體識別：能夠準確識別多種類型的命名實體。

📚 詳細文檔

模型描述

sahajBERT 使用 WikiANN 的孟加拉語子集進行微調，用於命名實體識別（NER）。

模型預測的命名實體如下：

預期用途和侷限性

使用方法

你可以使用分詞分類管道直接使用此模型：

from transformers import AlbertForTokenClassification, TokenClassificationPipeline, PreTrainedTokenizerFast

# Initialize tokenizer
tokenizer = PreTrainedTokenizerFast.from_pretrained("neuropark/sahajBERT-NER")

# Initialize model
model = AlbertForTokenClassification.from_pretrained("neuropark/sahajBERT-NER")

# Initialize pipeline
pipeline = TokenClassificationPipeline(tokenizer=tokenizer, model=model)

raw_text = "এই ইউনিয়নে ৩ টি মৌজা ও ১০ টি গ্রাম আছে ।" # Change me
output = pipeline(raw_text)

侷限性和偏差

相關內容正在完善中。

訓練數據

該模型在第19519步使用 sahajBERT 的預訓練權重進行初始化，並在 WikiANN 的孟加拉語子集上進行訓練。

訓練過程

相關內容即將推出！

評估結果

BibTeX引用和引用信息

相關內容即將推出！

📄 許可證

本項目採用Apache - 2.0許可證。