Arabertmo Base V8

🚀 阿拉伯語BERT模型 - AraBertMo_base_V8

AraBERTMo 是一個基於 谷歌的BERT架構 的阿拉伯語預訓練語言模型。AraBERTMo_base 使用了與BERT-Base相同的配置。目前，AraBERTMo_base 有10種新的變體。所有模型都可以在 HuggingFace 模型頁面上以 Ebtihal 的名稱找到。檢查點以PyTorch格式提供。

🚀 快速開始

你可以通過安裝 torch 或 tensorflow 以及Huggingface庫 transformers 來使用這個模型。你可以像下面這樣初始化並直接使用它：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V8")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V8")

✨ 主要特性

• 語言：阿拉伯語
• 標籤：Fill-Mask
• 數據集：OSCAR
• 交互示例：
  • " السلام عليكم ورحمة[MASK] وبركاتة"
  • " اهلا وسهلا بكم في [MASK] من سيربح المليون"
  • " مرحبا بك عزيزي الزائر [MASK] موقعنا "

📦 安裝指南

安裝 torch 或 tensorflow 以及Huggingface庫 transformers 即可使用該模型。

📚 詳細文檔

預訓練語料庫

AraBertMo_base_V8 模型在約300萬個單詞上進行了預訓練，使用的語料庫是 OSCAR 的阿拉伯語版本 "unshuffled_deduplicated_ar"。

訓練結果

該模型在以下任務中取得了如下結果：

模型背景

此模型是為一個組織的碩士學位研究而構建的：

• 庫法大學
• 計算機科學與數學系
• 計算機科學系