Arabiangpt 03B

🚀 ArabianGPT模型概述

ArabianGPT-0.3B是在ArabianLLM计划下开发的专门用于阿拉伯语建模的GPT - 2模型，由苏丹王子大学的机器人与物联网实验室合作完成，专注于提升阿拉伯语的自然语言建模和生成能力。该模型在大语言模型研究中迈出了重要一步，专门应对阿拉伯语的语言复杂性和细微差别。

🚀 快速开始

你可以将这个预训练的阿拉伯语原生模型作为实验工具，评估其能力，辅助其微调，并评估其在各种下游任务中的性能。我们鼓励你查看我们的技术报告，以全面了解该模型的性能指标以及它所测试的特定下游任务。这将为其在不同应用中的适用性和有效性提供有价值的见解。

✨ 主要特性

• 架构：GPT - 2
• 模型大小：3.45亿个参数
• 层数：24
• 模型注意力层（MAL）：16
• 上下文窗口大小：1024个标记

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

from transformers import pipeline

pipe = pipeline("text-generation", model="riotu-lab/ArabianGPT-03B", max_new_tokens=512)
text = ''
pipe.predict(text)

📚 详细文档

训练

• 数据集：包含科学文章和通用文本的抓取文本
• 数据大小：23GB
• 分词器：Aranizer 64K
• 标记数量：超过33亿
• 硬件：4块英伟达A100 GPU
• 训练时长：45天
• 性能：损失率为3.82

在ArabianLLM计划中的作用

ArabianGPT - 0.3B对于推进阿拉伯语处理至关重要，能够应对阿拉伯语形态和方言特有的挑战。

局限性和伦理考量

• 模型在某些场景下可能存在上下文理解或文本生成的局限性。
• 强调道德使用，以防止传播错误信息或有害内容。

致谢

特别感谢苏丹王子大学，尤其是机器人与物联网实验室。

联系信息

如有疑问，请联系：riotu@psu.edu.sa

大语言模型（LLMs）用于文本生成的免责声明

⚠️ 重要提示

我们对ArabianGPT - 0.3B生成的任何损害、不准确信息或不适当内容不承担任何责任，用户自行承担使用和应用该模型输出的风险。

💡 使用建议

目前，我们提供的是原始预训练模型。我们的团队正在积极发布基于指令的、经过微调并结合了基于人类反馈的强化学习（LRHF）的大语言模型。第一批预训练模型已向社区开放探索。虽然我们确实有针对特定任务（如摘要和情感分析）进行微调的模型，但它们仍处于开发阶段。