Sahajbert NER

🚀 sahajBERT 固有表現認識

sahajBERTは、ベンガル語の固有表現認識（NER）に特化したモデルです。WikiANNデータセットのベンガル語データを用いてfine-tuningされ、高精度な固有表現認識を実現します。

🚀 クイックスタート

このモデルは、トークン分類のパイプラインで直接使用することができます。以下のコード例を参考にしてください。

基本的な使用法

from transformers import AlbertForTokenClassification, TokenClassificationPipeline, PreTrainedTokenizerFast

# Initialize tokenizer
tokenizer = PreTrainedTokenizerFast.from_pretrained("neuropark/sahajBERT-NER")

# Initialize model
model = AlbertForTokenClassification.from_pretrained("neuropark/sahajBERT-NER")

# Initialize pipeline
pipeline = TokenClassificationPipeline(tokenizer=tokenizer, model=model)

raw_text = "এই ইউনিয়নে ৩ টি মৌজা ও ১০ টি গ্রাম আছে ।" # Change me
output = pipeline(raw_text)

✨ 主な機能

• 協調的なモデル：協調的なアプローチで開発されたモデルです。
• ベンガル語対応：ベンガル語の固有表現認識に特化しています。
• 高精度：WikiANNデータセットを用いてfine-tuningされ、高精度な固有表現認識を実現します。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用しています。以下のコマンドで必要なライブラリをインストールできます。

pip install transformers

📚 ドキュメント

モデルの説明

sahajBERT は、WikiANN のベンガル語データを用いてNER用にfine-tuningされたモデルです。

モデルが予測する固有表現は以下の通りです。

想定される用途と制限

使い方

このモデルは、トークン分類のパイプラインで直接使用することができます。コード例は「クイックスタート」を参照してください。

制限とバイアス

現在、制限事項や潜在的なバイアスに関する詳細は作成中です。

学習データ

このモデルは、sahajBERT の事前学習済みの重みをステップ19519で初期化し、WikiANN のベンガル語データで学習されました。

学習手順

学習手順に関する詳細は近日公開予定です。

評価結果

BibTeXエントリと引用情報

BibTeXエントリと引用情報に関する詳細は近日公開予定です。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。