Mbert Base Albanian Cased Ner

🚀 アルバニア語固有表現認識 (NER) モデル

このモデルは、「Cross-lingual Name Tagging and Linking for 282 Languages」論文で提示された有名なWikiANNデータセットを使用して、「bert-base-multilingual-cased」をファインチューニングしたモデルです。

🚀 クイックスタート

このモデルはアルバニア語の固有表現認識に使用できます。以下に使用方法を説明します。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを実行してください。

# 必要なライブラリのインストール
pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForTokenClassification, AutoTokenizer, pipeline

# モデルとトークナイザーの読み込み
model = AutoModelForTokenClassification.from_pretrained("akdeniz27/mbert-base-albanian-cased-ner")
tokenizer = AutoTokenizer.from_pretrained("akdeniz27/mbert-base-albanian-cased-ner")

# NERパイプラインの作成
ner = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="first")

# 固有表現認識の実行
result = ner("<your text here>")
print(result)

高度な使用法

aggregation_strategyパラメータを使用したエンティティグルーピングについては、「https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html」を参照してください。

🔧 技術詳細

ファインチューニングパラメータ

task = "ner"
model_checkpoint = "bert-base-multilingual-cased"
batch_size = 8 
label_list = ['O', 'B-PER', 'I-PER', 'B-ORG', 'I-ORG', 'B-LOC', 'I-LOC']
max_length = 512 
learning_rate = 2e-5 
num_train_epochs = 3 
weight_decay = 0.01 

参照テスト結果

• 正解率: 0.9719268816143276
• F1値: 0.9192366826444787
• 適合率: 0.9171629669734704
• 再現率: 0.9213197969543148

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。