Arabic Orpo Llama 3 8B Instruct

🚀 阿拉伯语ORPO LLAMA 3

本项目基于微调模型，旨在解决阿拉伯语文本生成中语言连贯性和准确性的问题，为阿拉伯语自然语言处理提供更优质的解决方案。

🚀 快速开始

你可以从这里试用该模型，并与我分享你的见解。

✨ 主要特性

此模型是 meta-llama/Meta-Llama-3-8B-Instruct 的微调版本，使用 ORPO 在 2A2I/argilla-dpo-mix-7k-arabic 数据集上进行微调。虽然评估结果显示基础的 llama3 表现更优，但在实际应用中，微调后的模型在输出连贯（大多正确）的阿拉伯语文本方面表现更佳。

📚 详细文档

📖 故事缘起

本模型是 meta-llama/Meta-Llama-3-8B-Instruct 的微调版本，使用 ORPO 在 2A2I/argilla-dpo-mix-7k-arabic 数据集上进行微调。

我想尝试使用 ORPO，看看它能否让像 llama3 这样有偏向性的英语模型更好地适配阿拉伯语，或者是否会失败。

虽然评估结果更倾向于基础的 llama3，但在实践中，我发现我微调后的模型在输出连贯（大多正确）的阿拉伯语文本方面要好得多，我觉得这很有趣。

我鼓励大家从这里试用该模型，并与我分享你的见解 ^^

📊 评估与结果

此结果使用 lighteval 进行 community|arabic_mmlu 任务评估得出。

📄 许可证

本项目采用 llama3 许可证。

模型信息表格