Diraya 3B Instruct Ar

🚀 Diraya-3B-Instruct-Ar

Diraya-3B-Instruct-Ar 是一个专门用于阿拉伯语推理的语言模型，它基于 Qwen2.5-3B 进行微调。该模型属于 DIRA（Diraya Arabic Reasoning AI） 系列，专注于提升阿拉伯语语言模型的逻辑推理和数学推理能力。

🚀 快速开始

安装依赖

首先，确保你已经安装了所需的库：

pip install transformers peft vLLM unsloth

代码示例

from unsloth import FastLanguageModel

max_seq_length = 1024 # Can increase for longer reasoning traces
lora_rank = 64 # Larger rank = smarter, but slower

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Omartificial-Intelligence-Space/Diraya-3B-Instruct-Ar",
    max_seq_length = max_seq_length,
    load_in_4bit = True, # False for LoRA 16bit
    fast_inference = True, # Enable vLLM fast inference
    max_lora_rank = lora_rank,
)

# System prompt to enforce XML structure
system_prompt = """
Respond in the following format in Arabic language only:
<reasoning>
...
</reasoning>
<answer>
...
</answer>
"""

# Prepare user question
user_question = "كل يوم، تُطعم وندي كل دجاجة من دجاجاتها ثلاث أكواب من العلف المختلط. تقدم الدجاجات وجباتهم في ثلاث وجبات منفصلة. في الصباح، تعطي قطيعها من الدجاج 15 كوبًا من العلف. في فترة ما بعد الظهر، تعطي دجاجاتها 25 كوبًا أخرى من العلف. كم عدد أكواب العلف التي تحتاجها لتقديمها لدجاجاتها في الوجبة الأخيرة من اليوم إذا كان حجم قطيع وندي 20 دجاجة؟"

# Prepare input for the model
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_question}
]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# Generate response
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

✨ 主要特性

• 以阿拉伯语推理为核心：专门针对阿拉伯语的复杂推理任务进行优化。
• 结构化推理格式：经过训练，能够以清晰的 XML 格式输出推理过程。
• 数学推理能力：增强了解决多步数学问题的能力。
• 指令遵循性：能够可靠地遵循阿拉伯语指令。
• 轻量级模型：基于高效的 3B 参数模型架构。

📦 安装指南

pip install transformers peft vLLM unsloth

💻 使用示例

基础用法

from unsloth import FastLanguageModel

max_seq_length = 1024 # Can increase for longer reasoning traces
lora_rank = 64 # Larger rank = smarter, but slower

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Omartificial-Intelligence-Space/Diraya-3B-Instruct-Ar",
    max_seq_length = max_seq_length,
    load_in_4bit = True, # False for LoRA 16bit
    fast_inference = True, # Enable vLLM fast inference
    max_lora_rank = lora_rank,
)

# System prompt to enforce XML structure
system_prompt = """
Respond in the following format in Arabic language only:
<reasoning>
...
</reasoning>
<answer>
...
</answer>
"""

# Prepare user question
user_question = "كل يوم، تُطعم وندي كل دجاجة من دجاجاتها ثلاث أكواب من العلف المختلط. تقدم الدجاجات وجباتهم في ثلاث وجبات منفصلة. في الصباح، تعطي قطيعها من الدجاج 15 كوبًا من العلف. في فترة ما بعد الظهر، تعطي دجاجاتها 25 كوبًا أخرى من العلف. كم عدد أكواب العلف التي تحتاجها لتقديمها لدجاجاتها في الوجبة الأخيرة من اليوم إذا كان حجم قطيع وندي 20 دجاجة؟"

# Prepare input for the model
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_question}
]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# Generate response
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

📚 详细文档

模型描述

Diraya-3B-Instruct-Ar 是一个从 Qwen2.5-3B 微调而来的阿拉伯语推理专用语言模型。该模型是 DIRA（Diraya Arabic Reasoning AI） 集合的一部分，专注于提升阿拉伯语语言模型的逻辑推理和数学推理能力。

技术细节

{
  "peft_type": "LORA",
  "r": 64,
  "lora_alpha": 64,
  "lora_dropout": 0,
  "target_modules": [
    "k_proj", "gate_proj", "o_proj", "down_proj", 
    "v_proj", "up_proj", "q_proj"
  ],
  "bias": "none",
  "inference_mode": true
}
``` |

### 训练数据
该模型主要在以下数据集上进行微调：
- [**阿拉伯语 GSM8K 数据集**](https://huggingface.co/datasets/Omartificial-Intelligence-Space/Arabic-gsm8k)：一个全面的小学算术问题集合，已翻译成阿拉伯语，需要多步推理。

### 训练和评估结果
![image/png](https://cdn-uploads.huggingface.co/production/uploads/628f7a71dd993507cfcbe587/21ZC26E-3Zh2Xw3a6h3WL.png)

*图：训练步骤中的奖励组成，展示了模型在不同奖励函数下的性能演变*

训练过程中使用了多个奖励函数来优化模型的不同方面的性能：
- **正确性奖励**（红色）：衡量模型生成正确最终答案的能力。
- **整数奖励**（蓝色）：确保模型输出有效的数值响应。
- **格式奖励**（紫色/灰色）：促进遵循正确的 XML 结构。
- **XML 计数奖励**（黄色）：微调 XML 标签的精确放置和完整性。

如图所示，模型在整个训练过程中在所有奖励维度上都表现出持续的改进。奖励值越高，表示输出质量越高，同时满足多个优化标准。这种多目标训练方法使得模型不仅能够产生正确的答案，而且能够以清晰、结构化的推理方式呈现。

该模型在阿拉伯语数学推理任务中表现出色，尤其在以下方面具有优势：
- 生成结构良好的推理步骤。
- 遵循所需的 XML 输出格式。
- 为多步问题得出正确的数值答案。

### 引用
如果您在研究中使用了该模型，请引用：
```bibtex
@misc{diraya3b,
  title={Diraya-3B-Instruct-Ar: An Arabic Reasoning-Specialized Language Model},
  author={Omartificial-Intelligence-Space},
  year={2025},
  howpublished={\url{https://huggingface.co/Omartificial-Intelligence-Space/Diraya-3B-Instruct-Ar}}
}

致谢

该模型基于 Qwen 团队的 Qwen2.5-3B 模型构建，并采用了 Unsloth 的优化技术。我们感谢他们对语言建模领域的宝贵贡献。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

📄 许可证

该模型使用 apache-2.0 许可证。