Arabiangpt 03B

🚀 ArabianGPT模型概述

ArabianGPT-0.3B是在ArabianLLM計劃下開發的專門用於阿拉伯語建模的GPT - 2模型，由蘇丹王子大學的機器人與物聯網實驗室合作完成，專注於提升阿拉伯語的自然語言建模和生成能力。該模型在大語言模型研究中邁出了重要一步，專門應對阿拉伯語的語言複雜性和細微差別。

🚀 快速開始

你可以將這個預訓練的阿拉伯語原生模型作為實驗工具，評估其能力，輔助其微調，並評估其在各種下游任務中的性能。我們鼓勵你查看我們的技術報告，以全面瞭解該模型的性能指標以及它所測試的特定下游任務。這將為其在不同應用中的適用性和有效性提供有價值的見解。

✨ 主要特性

• 架構：GPT - 2
• 模型大小：3.45億個參數
• 層數：24
• 模型注意力層（MAL）：16
• 上下文窗口大小：1024個標記

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import pipeline

pipe = pipeline("text-generation", model="riotu-lab/ArabianGPT-03B", max_new_tokens=512)
text = ''
pipe.predict(text)

📚 詳細文檔

訓練

• 數據集：包含科學文章和通用文本的抓取文本
• 數據大小：23GB
• 分詞器：Aranizer 64K
• 標記數量：超過33億
• 硬件：4塊英偉達A100 GPU
• 訓練時長：45天
• 性能：損失率為3.82

在ArabianLLM計劃中的作用

ArabianGPT - 0.3B對於推進阿拉伯語處理至關重要，能夠應對阿拉伯語形態和方言特有的挑戰。

侷限性和倫理考量

• 模型在某些場景下可能存在上下文理解或文本生成的侷限性。
• 強調道德使用，以防止傳播錯誤信息或有害內容。

致謝

特別感謝蘇丹王子大學，尤其是機器人與物聯網實驗室。

聯繫信息

如有疑問，請聯繫：riotu@psu.edu.sa

大語言模型（LLMs）用於文本生成的免責聲明

⚠️ 重要提示

我們對ArabianGPT - 0.3B生成的任何損害、不準確信息或不適當內容不承擔任何責任，用戶自行承擔使用和應用該模型輸出的風險。

💡 使用建議

目前，我們提供的是原始預訓練模型。我們的團隊正在積極發佈基於指令的、經過微調並結合了基於人類反饋的強化學習（LRHF）的大語言模型。第一批預訓練模型已向社區開放探索。雖然我們確實有針對特定任務（如摘要和情感分析）進行微調的模型，但它們仍處於開發階段。