Arabic Orpo Llama 3 8B Instruct

🚀 阿拉伯語ORPO LLAMA 3

本項目基於微調模型，旨在解決阿拉伯語文本生成中語言連貫性和準確性的問題，為阿拉伯語自然語言處理提供更優質的解決方案。

🚀 快速開始

你可以從這裡試用該模型，並與我分享你的見解。

✨ 主要特性

此模型是 meta-llama/Meta-Llama-3-8B-Instruct 的微調版本，使用 ORPO 在 2A2I/argilla-dpo-mix-7k-arabic 數據集上進行微調。雖然評估結果顯示基礎的 llama3 表現更優，但在實際應用中，微調後的模型在輸出連貫（大多正確）的阿拉伯語文本方面表現更佳。

📚 詳細文檔

📖 故事緣起

本模型是 meta-llama/Meta-Llama-3-8B-Instruct 的微調版本，使用 ORPO 在 2A2I/argilla-dpo-mix-7k-arabic 數據集上進行微調。

我想嘗試使用 ORPO，看看它能否讓像 llama3 這樣有偏向性的英語模型更好地適配阿拉伯語，或者是否會失敗。

雖然評估結果更傾向於基礎的 llama3，但在實踐中，我發現我微調後的模型在輸出連貫（大多正確）的阿拉伯語文本方面要好得多，我覺得這很有趣。

我鼓勵大家從這裡試用該模型，並與我分享你的見解 ^^

📊 評估與結果

此結果使用 lighteval 進行 community|arabic_mmlu 任務評估得出。

📄 許可證

本項目採用 llama3 許可證。

模型信息表格