Marbertv2 Arabic Written Dialect Classifier

🚀 MARBERTv2阿拉伯書面方言分類器

該模型是一個用於阿拉伯書面方言分類的工具，它基於預訓練模型進行微調，能夠從原始文本中識別現代標準阿拉伯語（MSA）和4種地區阿拉伯方言，可應用於方言識別、語言研究和方言感知自然語言處理系統等任務。

🚀 快速開始

安裝依賴

確保你已經安裝了transformers庫：

pip install transformers torch

運行示例代碼

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "IbrahimAmin/marbertv2-arabic-written-dialect-classifier"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

text = "الدنيا مش مستاهلة تجري كده، خد وقتك واستمتع بالحاجة البسيطة"
inputs = tokenizer(text, return_tensors="pt")

# Run inference
with torch.inference_mode():
    logits = model(**inputs).logits

pred = torch.argmax(logits, dim=-1).item()

print(f"Predicted Dialect: {model.config.id2label[pred]}")

✨ 主要特性

• 基於UBC-NLP/MARBERTv2模型微調，專為阿拉伯語優化。
• 能夠區分五種主要的阿拉伯書面方言區域，包括馬格里布、黎凡特、現代標準阿拉伯語、海灣和埃及方言。
• 適用於短阿拉伯文本片段的方言識別，數據來源廣泛，包括社交媒體、論壇和非正式寫作。

📚 詳細文檔

🔧 模型詳情

該模型是在多方言分類任務上對MARBERTv2進行微調得到的。MARBERTv2是一個基於Transformer的語言模型，針對阿拉伯語進行了優化。該模型可以區分以下五個主要的阿拉伯書面方言區域：

• MAGHREB（北非方言）
• LEV（黎凡特方言）
• MSA（現代標準阿拉伯語）
• GLF（海灣方言）
• EGY（埃及阿拉伯語）

📄 標籤 (id2label)

模型預測以下五個類別之一：

{
  "0": "MAGHREB", // 馬格里布方言（西北非洲：摩洛哥、阿爾及利亞、突尼斯等）
  "1": "LEV",     // 黎凡特方言（黎巴嫩、敘利亞、約旦、巴勒斯坦）
  "2": "MSA",     // 現代標準阿拉伯語
  "3": "GLF",     // 海灣方言（沙特阿拉伯、阿聯酋、科威特等）
  "4": "EGY"      // 埃及方言
}

📦 訓練數據

模型使用了來自9個不同公開可用數據集的約850,000 + 阿拉伯語句子進行訓練，涵蓋了廣泛的阿拉伯書面方言。

按方言分佈情況：

📊 使用的數據集

以下是訓練過程中使用或開發過程中考慮的數據集的詳細概述：

📄 許可證

本模型使用Apache - 2.0許可證。

🎉 致謝

• UBC - NLP的MARBERTv2團隊
• 訓練中使用的阿拉伯方言數據集的貢獻者

📝 引用

如果您在研究或應用中使用此模型，請引用：

@misc{ibrahimamin_marbertv2_arabic_written_dialect_classifier,
  author = {Ibrahim Amin},
  title = {MARBERTv2 Arabic Written Dialect Classifier},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/IbrahimAmin/marbertv2-arabic-written-dialect-classifier}},
}