アラビア語 - Orpo - Llama 3 - 8B - Instructオープンソースアラビア語テキスト生成モデル、テキストの连贯性と正確性を向上させます

Home

Arabic Orpo Llama 3 8B Instruct

Developed by MohamedRashad

Llama-3-8B-Instructをベースに微調整されたアラビア語テキスト生成モデルで、アラビア語テキストの首尾一貫性と正確性の向上に特化しています。

大規模言語モデル

Transformers

Arabic#アラビア語テキスト生成 #ORPO微調整 #言語の首尾一貫性の最適化

Downloads 5,764

Release Time : 4/28/2024

Model Overview

このモデルはmeta-llama/Meta-Llama-3-8B-Instructの微調整バージョンで、ORPOを使用してアラビア語データセットで微調整され、アラビア語の自然言語処理により質の高い解決策を提供することを目的としています。

Model Features

アラビア語テキストの首尾一貫性の最適化

ORPOによる微調整により、アラビア語テキスト生成の首尾一貫性と正確性が大幅に向上しました。

Llama-3アーキテクチャに基づく

強力なLlama-3-8B-Instructアーキテクチャに基づいており、優れたテキスト生成能力を備えています。

専用のアラビア語データセットでの学習

argilla-dpo-mix-7k-arabicデータセットを使用して微調整され、アラビア語の特性に特化しています。

Model Capabilities

アラビア語テキスト生成

自然言語処理

対話システム

Use Cases

自然言語処理

アラビア語チャットボット

流暢なアラビア語対話システムの構築に使用されます。

実際のアプリケーションでは、ベースモデルよりも優れたアラビア語テキストの首尾一貫性を示します。

アラビア語コンテンツ生成

高品質のアラビア語テキストコンテンツを生成します。

文法的に正しく、意味的に首尾一貫したアラビア語テキストを生成することができます。

🚀 アラビア語ORPO LLAMA 3

本プロジェクトは微調整モデルに基づいており、アラビア語の文章生成における言語の連貫性と正確性の問題を解決し、アラビア語の自然言語処理により質の高い解決策を提供することを目的としています。

🚀 クイックスタート

あなたはこちらからこのモデルを試用し、あなたの見解を私に共有することができます。

✨ 主な機能

このモデルは meta-llama/Meta-Llama-3-8B-Instruct の微調整バージョンで、ORPO を使用して 2A2I/argilla-dpo-mix-7k-arabic データセットで微調整されています。評価結果では基礎の llama3 の方が優れているように見えますが、実際のアプリケーションでは、微調整後のモデルは連貫性のある（ほとんど正しい）アラビア語の文章を出力する点でより良い性能を発揮します。

📚 ドキュメント

📖 プロジェクトの背景

このモデルは meta-llama/Meta-Llama-3-8B-Instruct の微調整バージョンで、ORPO を使用して 2A2I/argilla-dpo-mix-7k-arabic データセットで微調整されています。

私は ORPO を使って、llama3 のような偏向性のある英語モデルをアラビア語により適合させることができるか、または失敗するかを試してみたかったのです。

評価結果は基礎の llama3 に有利ですが、実践では、私が微調整したモデルは連貫性のある（ほとんど正しい）アラビア語の文章を出力する点ではるかに優れていることがわかり、面白いと思いました。

皆さんにはこちらからこのモデルを試用し、あなたの見解を私に共有していただけると嬉しいです ^^

📊 評価と結果

この結果は lighteval を使用して community|arabic_mmlu タスクの評価を行ったものです。

分野	Llama-3-8B-Instruct	アラビア語-ORPO-Llama-3-8B-Instruct
全て	0.348	0.317
抽象代数	0.310	0.230
解剖学	0.385	0.348
天文学	0.388	0.316
ビジネス倫理	0.480	0.370
臨床知識	0.396	0.385
大学の生物学	0.347	0.299
大学の化学	0.180	0.250
大学のコンピュータサイエンス	0.250	0.190
大学の数学	0.260	0.280
大学の医学	0.231	0.249
大学の物理学	0.225	0.216
コンピュータセキュリティ	0.470	0.440
概念物理学	0.315	0.404
計量経済学	0.263	0.272
電気工学	0.414	0.359
初等数学	0.320	0.272
形式論理学	0.270	0.214
世界の事実	0.320	0.320
高校の生物学	0.332	0.335
高校の化学	0.256	0.296
高校のコンピュータサイエンス	0.350	0.300
高校のヨーロッパ史	0.224	0.242
高校の地理	0.323	0.364
高校の政府と政治	0.352	0.285
高校のマクロ経済学	0.290	0.285
高校の数学	0.237	0.278
高校のミクロ経済学	0.231	0.273
高校の物理学	0.252	0.225
高校の心理学	0.316	0.330
高校の統計学	0.199	0.176
高校のアメリカ史	0.284	0.250
高校の世界史	0.312	0.274
人間の老化	0.369	0.430
人間の性行動	0.481	0.321
国際法	0.603	0.405
法理学	0.491	0.370
論理の誤り	0.368	0.276
機械学習	0.214	0.312
経営学	0.350	0.379
マーケティング	0.521	0.547
医学遺伝学	0.320	0.330
その他	0.446	0.443
道徳的な論争	0.422	0.306
道徳的なシナリオ	0.248	0.241
栄養学	0.412	0.346
哲学	0.408	0.328
先史時代	0.429	0.349
専門会計学	0.344	0.273
専門法律	0.306	0.244
専門医学	0.228	0.206
専門心理学	0.337	0.315
広報関係	0.391	0.373
安全研究	0.469	0.335
社会学	0.498	0.408
アメリカの外交政策	0.590	0.490
ウイルス学	0.422	0.416
世界の宗教	0.404	0.304
（全分野）平均	0.348	0.317

📄 ライセンス

本プロジェクトは llama3 ライセンスを採用しています。

モデル情報テーブル

属性	詳細
モデルタイプ	アラビア語ORPO LLAMA 3
訓練データ	2A2I/argilla-dpo-mix-7k-arabic
ライセンス	llama3
言語	アラビア語
タスクタイプ	文章生成