Eeve Dpo V3

🚀 ENERGY - DRINK - LOVE/eeve_dpo - v3

本項目基於DPO方法微調模型，使用了多種數據集進行訓練，在多個基準測試中取得了不錯的成績，為韓語指令模型的發展提供了有力支持。

🚀 快速開始

文檔未提供快速開始相關內容，若有需要可後續補充。

✨ 主要特性

• 基於yanolja/EEVE - Korean - Instruct - 10.8B - v1.0基礎模型進行微調。
• 採用DPO訓練方法，結合了多種數據集，包括自制的DPO數據集和翻譯的英語數據集。
• 在多個韓語基準測試中表現良好。

📦 安裝指南

文檔未提供安裝步驟，若有需要可後續補充。

📚 詳細文檔

團隊成員

• Jingyeom Kim
• Youjin Chung

模型信息

基礎模型

• yanolja/EEVE-Korean-Instruct-10.8B-v1.0

軟硬件信息

• 硬件：訓練模型使用了8張A100顯卡。
• 軟件：使用了Deepspeed庫和Huggingface TRL Trainer。

數據集

• DPO_dataset
  • 自制DPO數據集（利用AI - hub數據集）
  • 翻譯的英語數據集，如OpenOrca DPO等（ENERGY - DRINK - LOVE/translate_share_gpt_dedup_llama_SFT_1024，使用自有模型）

訓練方法

• DPO

基準測試

Ko LM Eval Harness

Ko - LLM - Leaderboard

• （截至240307排名第7） | 平均得分 | Ko - ARC得分 | Ko - HellaSwag得分 | Ko - MMLU得分 | Ko - TruthfulQA得分 | Ko - CommonGen V2得分 | | ------: | -----: | -----------: | ------: | ------------: | --------------: | | 57.97 | 57.51 | 67.01 | 56.3 | 54.86 | 54.19 |

📄 許可證

本模型採用Apache - 2.0許可證。