Marbertv2 Arabic Written Dialect Classifier

🚀 MARBERTv2アラビア語書面方言分類器

このモデルは、アラビア語の書面方言分類を行うためのツールです。事前学習モデルを微調整して作成され、生テキストから現代標準アラビア語（MSA）と4種類の地域アラビア方言を識別することができます。方言識別、言語研究、方言対応の自然言語処理システムなどのタスクに適用できます。

🚀 クイックスタート

依存関係のインストール

transformersライブラリがインストールされていることを確認してください。

pip install transformers torch

サンプルコードの実行

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "IbrahimAmin/marbertv2-arabic-written-dialect-classifier"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

text = "الدنيا مش مستاهلة تجري كده، خد وقتك واستمتع بالحاجة البسيطة"
inputs = tokenizer(text, return_tensors="pt")

# Run inference
with torch.inference_mode():
    logits = model(**inputs).logits

pred = torch.argmax(logits, dim=-1).item()

print(f"Predicted Dialect: {model.config.id2label[pred]}")

✨ 主な機能

• UBC-NLP/MARBERTv2モデルを微調整しており、アラビア語に最適化されています。
• マグレブ、レバント、現代標準アラビア語、湾岸、エジプトの方言を含む、5つの主要なアラビア語書面方言地域を区別することができます。
• 広範なデータソース（ソーシャルメディア、フォーラム、非公式な文章など）からの短いアラビア語テキスト断片の方言識別に適しています。

📚 ドキュメント

🔧 モデルの詳細

このモデルは、多方言分類タスクでMARBERTv2を微調整したものです。MARBERTv2は、アラビア語用に最適化されたTransformerベースの言語モデルです。このモデルは、以下の5つの主要なアラビア語書面方言地域を区別することができます。

• MAGHREB（北アフリカ方言）
• LEV（レバント方言）
• MSA（現代標準アラビア語）
• GLF（湾岸方言）
• EGY（エジプト方言）

📄 ラベル (id2label)

モデルは以下の5つのクラスのいずれかを予測します。

{
  "0": "MAGHREB", // マグレブ方言（北西アフリカ：モロッコ、アルジェリア、チュニジアなど）
  "1": "LEV",     // レバント方言（レバノン、シリア、ヨルダン、パレスチナ）
  "2": "MSA",     // 現代標準アラビア語
  "3": "GLF",     // 湾岸方言（サウジアラビア、アラブ首長国連邦、クウェートなど）
  "4": "EGY"      // エジプト方言
}

📦 学習データ

このモデルは、9つの異なる公開データセットから約850,000以上のアラビア語文を使用して学習されており、広範なアラビア語書面方言をカバーしています。

方言別の分布

📊 使用したデータセット

以下は、学習過程で使用された、または開発過程で考慮されたデータセットの詳細な概要です。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスを使用しています。

🎉 謝辞

• UBC - NLPのMARBERTv2チーム
• 学習に使用されたアラビア方言データセットの貢献者

📝 引用

このモデルを研究またはアプリケーションで使用する場合は、以下を引用してください。

@misc{ibrahimamin_marbertv2_arabic_written_dialect_classifier,
  author = {Ibrahim Amin},
  title = {MARBERTv2 Arabic Written Dialect Classifier},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/IbrahimAmin/marbertv2-arabic-written-dialect-classifier}},
}