Arabic Orpo Llama 3 8B Instruct

🚀 アラビア語ORPO LLAMA 3

本プロジェクトは微調整モデルに基づいており、アラビア語の文章生成における言語の連貫性と正確性の問題を解決し、アラビア語の自然言語処理により質の高い解決策を提供することを目的としています。

🚀 クイックスタート

あなたはこちらからこのモデルを試用し、あなたの見解を私に共有することができます。

✨ 主な機能

このモデルは meta-llama/Meta-Llama-3-8B-Instruct の微調整バージョンで、ORPO を使用して 2A2I/argilla-dpo-mix-7k-arabic データセットで微調整されています。評価結果では基礎の llama3 の方が優れているように見えますが、実際のアプリケーションでは、微調整後のモデルは連貫性のある（ほとんど正しい）アラビア語の文章を出力する点でより良い性能を発揮します。

📚 ドキュメント

📖 プロジェクトの背景

このモデルは meta-llama/Meta-Llama-3-8B-Instruct の微調整バージョンで、ORPO を使用して 2A2I/argilla-dpo-mix-7k-arabic データセットで微調整されています。

私は ORPO を使って、llama3 のような偏向性のある英語モデルをアラビア語により適合させることができるか、または失敗するかを試してみたかったのです。

評価結果は基礎の llama3 に有利ですが、実践では、私が微調整したモデルは連貫性のある（ほとんど正しい）アラビア語の文章を出力する点ではるかに優れていることがわかり、面白いと思いました。

皆さんにはこちらからこのモデルを試用し、あなたの見解を私に共有していただけると嬉しいです ^^

📊 評価と結果

この結果は lighteval を使用して community|arabic_mmlu タスクの評価を行ったものです。

📄 ライセンス

本プロジェクトは llama3 ライセンスを採用しています。

モデル情報テーブル