Marbertv2 Arabic Written Dialect Classifier

🚀 MARBERTv2阿拉伯书面方言分类器

该模型是一个用于阿拉伯书面方言分类的工具，它基于预训练模型进行微调，能够从原始文本中识别现代标准阿拉伯语（MSA）和4种地区阿拉伯方言，可应用于方言识别、语言研究和方言感知自然语言处理系统等任务。

🚀 快速开始

安装依赖

确保你已经安装了transformers库：

pip install transformers torch

运行示例代码

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "IbrahimAmin/marbertv2-arabic-written-dialect-classifier"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

text = "الدنيا مش مستاهلة تجري كده، خد وقتك واستمتع بالحاجة البسيطة"
inputs = tokenizer(text, return_tensors="pt")

# Run inference
with torch.inference_mode():
    logits = model(**inputs).logits

pred = torch.argmax(logits, dim=-1).item()

print(f"Predicted Dialect: {model.config.id2label[pred]}")

✨ 主要特性

• 基于UBC-NLP/MARBERTv2模型微调，专为阿拉伯语优化。
• 能够区分五种主要的阿拉伯书面方言区域，包括马格里布、黎凡特、现代标准阿拉伯语、海湾和埃及方言。
• 适用于短阿拉伯文本片段的方言识别，数据来源广泛，包括社交媒体、论坛和非正式写作。

📚 详细文档

🔧 模型详情

该模型是在多方言分类任务上对MARBERTv2进行微调得到的。MARBERTv2是一个基于Transformer的语言模型，针对阿拉伯语进行了优化。该模型可以区分以下五个主要的阿拉伯书面方言区域：

• MAGHREB（北非方言）
• LEV（黎凡特方言）
• MSA（现代标准阿拉伯语）
• GLF（海湾方言）
• EGY（埃及阿拉伯语）

📄 标签 (id2label)

模型预测以下五个类别之一：

{
  "0": "MAGHREB", // 马格里布方言（西北非洲：摩洛哥、阿尔及利亚、突尼斯等）
  "1": "LEV",     // 黎凡特方言（黎巴嫩、叙利亚、约旦、巴勒斯坦）
  "2": "MSA",     // 现代标准阿拉伯语
  "3": "GLF",     // 海湾方言（沙特阿拉伯、阿联酋、科威特等）
  "4": "EGY"      // 埃及方言
}

📦 训练数据

模型使用了来自9个不同公开可用数据集的约850,000 + 阿拉伯语句子进行训练，涵盖了广泛的阿拉伯书面方言。

按方言分布情况：

📊 使用的数据集

以下是训练过程中使用或开发过程中考虑的数据集的详细概述：

📄 许可证

本模型使用Apache - 2.0许可证。

🎉 致谢

• UBC - NLP的MARBERTv2团队
• 训练中使用的阿拉伯方言数据集的贡献者

📝 引用

如果您在研究或应用中使用此模型，请引用：

@misc{ibrahimamin_marbertv2_arabic_written_dialect_classifier,
  author = {Ibrahim Amin},
  title = {MARBERTv2 Arabic Written Dialect Classifier},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/IbrahimAmin/marbertv2-arabic-written-dialect-classifier}},
}