Arabertmo Base V3

🚀 阿拉伯語BERT模型

AraBERTMo 是一個基於 谷歌的BERT架構 的阿拉伯語預訓練語言模型。AraBERTMo_base 使用了與BERT-Base相同的配置。目前，AraBERTMo_base 有10種新的變體。所有模型都可以在 HuggingFace 模型頁面上以 Ebtihal 的名稱獲取。檢查點以PyTorch格式提供。

🚀 快速開始

加載預訓練模型

你可以通過安裝 torch 或 tensorflow 以及Huggingface庫 transformers 來使用這個模型。你可以像下面這樣初始化它並直接使用：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V3")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V3")

✨ 主要特性

• 多變體選擇：AraBERTMo_base 有10種新的變體，滿足不同場景需求。
• 多格式支持：檢查點以PyTorch格式提供，方便使用。
• 公開可用：所有模型都可以在 HuggingFace 模型頁面上獲取。

📦 安裝指南

使用該模型前，你需要安裝 torch 或 tensorflow 以及Huggingface庫 transformers。

📚 詳細文檔

預訓練語料庫

AraBertMo_base_V3 模型在約300萬個單詞上進行了預訓練：

• OSCAR - 阿拉伯語版本 "unshuffled_deduplicated_ar"。

訓練結果

該模型取得了以下結果：

模型相關信息

模型構建背景

該模型是為一個組織的碩士學位研究而構建的：

• 庫法大學。
• 計算機科學與數學學院。
• 計算機科學系