NER Darija MAR FSBM

🚀 モロッコ方言（ダリジャ語）用の固有表現抽出モデル

このモデルは、モロッコアラビア語（ダリジャ語）のテキストにおける人名、地名、組織名、その他の固有表現を認識するために設計された、固有表現抽出（NER） モデルです。このモデルは、DarNERcorp データセットでファインチューニングされており、ソーシャルメディアやニュース記事からの情報抽出などのタスクに役立ちます。

🚀 クイックスタート

このモデルを使用するには、Hugging Face Transformersライブラリを使ってモデルをロードする必要があります。以下に例を示します。

from transformers import pipeline

# モデルをロードする
nlp = pipeline("ner", model="mohannad-tazi/ner-darija-darner")

# モデルを使用する
text = "محمد كان في الرباط."
result = nlp(text)
print(result)

✨ 主な機能

• 固有表現の認識：モロッコアラビア語（ダリジャ語）のテキストにおける人名、地名、組織名、その他の固有表現を認識します。
• 多様なユースケース：ソーシャルメディア分析、ニュース要約、情報抽出などのタスクに適用できます。

📦 インストール

このモデルを使用するには、Hugging Face Transformersライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの説明

このモデルは、DarNERcorp データセットでファインチューニングされた 固有表現抽出（NER） モデルです。モロッコアラビア語（ダリジャ語）のテキストにおける人名、地名、組織名、その他の固有表現を認識するように設計されています。このモデルは BERTアーキテクチャ に基づいており、ソーシャルメディアやニュース記事からの情報抽出などのタスクに役立ちます。

モデルのアーキテクチャ

想定される用途

このモデルは、モロッコアラビア語の固有表現抽出タスクに設計されています。以下のような固有表現を識別および分類できます。

• PER：人名（例："محمد", "فاطمة"）
• LOC：地名（例："الرباط", "طنجة"）
• ORG：組織名（例："البنك المغربي", "جامعة الحسن الثاني"）
• MISC：その他の固有表現

ユースケース

• ソーシャルメディア分析：モロッコアラビア語の投稿やツイートから固有表現を抽出します。
• ニュース要約：ニュース記事における重要な固有表現を識別します。
• 情報抽出：非公式または公式のテキストから固有表現を抽出します。

評価結果

このモデルは、評価データセットで以下の結果を達成しています。

前処理手順

• トークン化：BERTトークナイザーを使用してトークン化します。
• ラベルのアライメント：トークン化された入力にラベルをアライメントします（ワードピーストークンを考慮）。
• パディングとトランケート：文を一定の長さにパディングまたはトランケートして均一性を保ちます。

🔧 技術詳細

データセット

このモデルは、DarNERcorp データセットでトレーニングされています。このデータセットは、モロッコアラビア語の方言における固有表現抽出用に特別に設計されたコーパスです。データセットには、PER、LOC、ORG、MISCなどの固有表現タグが付けられた文が含まれています。

制限事項

このモデルは特定のコーパスでトレーニングされているため、すべてのモロッコアラビア語のテキストに対してうまく汎化できない可能性があります。パフォーマンスは、テキストの品質やデータセットにおけるタグ付けの一貫性によって異なる場合があります。