Arabertmo Base V4

🚀 阿拉伯語BERT模型

AraBERTMo 是一個基於 谷歌的BERT架構 的阿拉伯語預訓練語言模型。AraBERTMo_base 使用了與BERT-Base相同的配置。目前，AraBERTMo_base 有10種新的變體。所有模型都可以在 HuggingFace 模型頁面上以 Ebtihal 的名稱獲取。檢查點以PyTorch格式提供。

🚀 快速開始

本項目提供了一個強大的阿拉伯語預訓練語言模型，可用於多種自然語言處理任務，如掩碼填充等。

✨ 主要特性

• 基於谷歌的BERT架構，具有良好的語言理解能力。
• AraBERTMo_base有10種新變體，滿足不同場景需求。
• 所有模型可在HuggingFace模型頁面獲取，方便使用。

📦 安裝指南

你可以通過安裝 torch 或 tensorflow 以及Huggingface庫 transformers 來使用這個模型。安裝完成後，你可以按以下方式直接初始化使用：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V4")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V4")

📚 詳細文檔

預訓練語料庫

AraBertMo_base_V4 模型在約300萬個單詞上進行了預訓練：

• OSCAR - 阿拉伯語版本 "unshuffled_deduplicated_ar"。

訓練結果

該模型在掩碼填充任務上取得了以下結果：

模型構建背景

此模型是為某組織的碩士學位研究而構建的：

• 庫法大學。
• 計算機科學與數學系。
• 計算機科學系

模型使用示例

以下是使用該模型的示例：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V4")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V4")

模型相關信息

模型使用提示

你可以通過以下示例文本測試模型：

• " السلام عليكم ورحمة[MASK] وبركاتة"
• " اهلا وسهلا بكم في [MASK] من سيربح المليون"
• " مرحبا بك عزيزي الزائر [MASK] موقعنا "