Arabertmo Base V6

🚀 阿拉伯語BERT模型

AraBERTMo 是一個基於 谷歌的BERT架構 的阿拉伯語預訓練語言模型。AraBERTMo_base 使用了與BERT-Base相同的配置。目前，AraBERTMo_base 有10種新的變體。所有模型都可以在 HuggingFace 模型頁面上以 Ebtihal 的名稱獲取。檢查點以PyTorch格式提供。

✨ 主要特性

• 語言標籤：阿拉伯語
• 任務標籤：掩碼填充（Fill-Mask）
• 訓練數據集：OSCAR
• 模型演示：
  • 文本：" السلام عليكم ورحمة[MASK] وبركاتة"
  • 文本：" اهلا وسهلا بكم في [MASK] من سيربح المليون"
  • 文本：" مرحبا بك عزيزي الزائر [MASK] موقعنا "

📦 安裝指南

你可以通過安裝 torch 或 tensorflow 以及Huggingface庫 transformers 來使用這個模型。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V6")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V6")

📚 詳細文檔

預訓練語料庫

AraBertMo_base_V6 模型在約300萬個單詞上進行了預訓練：

• OSCAR - 阿拉伯語版本 "unshuffled_deduplicated_ar"。

訓練結果

該模型取得了以下結果：

模型背景

此模型是為一個組織的碩士學位研究而構建的：

• 庫法大學。
• 計算機科學與數學學院。
• 計算機科學系