BERT Base NER Ar

🚀 BERT-base_NER-ar

BERT-base_NER-arは、アラビア語の固有表現抽出（Named Entity Recognition, NER）に特化して微調整された多言語BERTベースモデルです。ベースモデルは多様な言語で事前学習され、「wikiann」データセットを用いてNERタスクに合わせて微調整されています。このモデルは大文字と小文字を区別するケースセンシティブなモデルで、「english」と「English」を区別します。

🚀 クイックスタート

このセクションでは、BERT-base_NER-ar モデルを使用してアラビア語の固有表現抽出を行う基本的な手順を説明します。

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch 
# Load the fine-tuned model
model = AutoModelForTokenClassification.from_pretrained("ayoubkirouane/BERT-base_NER-ar")
tokenizer = AutoTokenizer.from_pretrained("ayoubkirouane/BERT-base_NER-ar")

# Tokenize your input text
text = "عاصمة فلسطين هي القدس الشريف."
tokens = tokenizer.tokenize(tokenizer.decode(tokenizer.encode(text)))

# Convert tokens to input IDs
input_ids = tokenizer.convert_tokens_to_ids(tokens)

# Perform NER inference
with torch.no_grad():
    outputs = model(torch.tensor([input_ids]))

# Get the predicted labels for each token
predicted_labels = outputs[0].argmax(dim=2).cpu().numpy()[0]

# Map label IDs to human-readable labels
predicted_labels = [model.config.id2label[label_id] for label_id in predicted_labels]

# Print the tokenized text and its associated labels
for token, label in zip(tokens, predicted_labels):
    print(f"Token: {token}, Label: {label}")

✨ 主な機能

• アラビア語固有表現抽出：BERT-base_NER-ar はアラビア語テキストから人名、地名、組織名などの固有表現を抽出することができます。これはアラビア語アプリケーションにおける情報検索、テキスト要約、コンテンツ分析に役立ちます。
• 多言語NER：このモデルの多言語機能により、「wikiann」データセットがサポートする他の言語でもNERを実行できるため、クロスリンガルなNERタスクにも対応します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

📚 ドキュメント

データセット

このモデルは、多言語固有表現抽出データセットであるwikiannデータセットを使用して微調整されています。このデータセットには、Wikipedia記事がLOC（場所）、PER（人物）、ORG（組織）の3種類の固有表現でアノテーションされています。アノテーションはIOB2形式で行われています。このデータセットは、元のWikiANNコーパスの282言語のうち176言語をサポートしています。

サポートされるタスクとリーダーボード

このモデルが主にサポートするタスクはアラビア語の固有表現抽出（NER）です。ただし、多言語モデルのゼロショットクロスリンガル機能を探索するためにも使用でき、様々な言語でのNERが可能です。

制限事項

• 言語制限：このモデルは複数の言語をサポートしていますが、すべての言語で同じように良好な性能を発揮するとは限りません。特定の言語に関する学習データの品質と量によって、性能が異なる可能性があります。
• 微調整データ：このモデルの性能は、微調整データ（この場合は「wikiann」データセット）の品質と代表性に依存します。データセットが限られていたり、バイアスがある場合、モデルの性能に影響を与える可能性があります。