Rhea 72b V0.5

🚀 Rhea-72b-v0.5

Rhea项目致力于研究各种学习方法，以提升大语言模型（LLM）的性能。我们使用nox框架对现有模型进行微调。基于当前公开的数据集构建了用于SFT学习的数据集，并采用SGD（用于DPO学习的自生成数据集创建方法）为DPO学习创建了数据集。我们的模型在HuggingFace的Open LLM排行榜上排名第一。

🚀 快速开始

本项目聚焦于提升大语言模型性能，通过独特的数据集构建和微调方法，在Open LLM排行榜上取得优异成绩。若你想深入了解模型的训练和使用，可参考以下内容。

✨ 主要特性

SGD：用于DPO学习的自生成数据集创建方法

该方法为DPO（自监督学习）模型提出了一种新颖的数据集生成方式。我们建议将模型生成的句子与现有数据集中的实际正确答案进行比较，添加模型生成结果与正确答案不匹配的句子。这使模型能够自主创建训练数据，从而提高DPO模型的性能。

📚 详细文档

模型详情

sft数据集信息：datasets_enconv_4m

100k随机打乱数据集

• stack-exchange-preferences
• SlimOrca
• alpaca-gpt4
• SHP
• HC3
• databricks-dolly-15k
• orca-dpo-pairs
• us-stockname
• OpenHermes2.5-dpo-binarized-alpha
• distilabel-math-preference-dpo
• Neural-DPO
• truthy-dpo-v0.1
• distilabel-capybara-dpo-7k-binarized
• us-sentiment
• contextual-dpo-v0.1

1k随机打乱数据集

• bigbench
• glue_mnli
• glue_qqp
• xnli
• codexglue_code2text_go
• trivia_qa
• medmcqa
• hendrycks_ethics
• super_glue_record
• glue_qnli
• anli_r3
• swag
• squad_v2
• nq_open
• drop
• glue_sst2
• blimp
• paws-x
• unscramble
• anli_r2
• babi
• math_qa
• social_i_qa
• piqa
• arithmetic
• anli_r1
• prost
• sciq
• mc_taco
• medqa
• super_glue_boolq
• hendrycks_math
• lambada
• toxigen-data
• glue_cola
• pubmed_qa
• logiqa
• mutual
• headqa
• bbh
• super_glue_wic
• openbookqa
• glue_mrpc
• web_questions
• qasper
• super_glue_multirc
• story_cloze
• super_glue_rte
• glue_rte
• race
• xwinograd
• asdiv
• xstory_cloze
• crows_pairs_multilingual
• belebele
• glue_wnli
• super_glue_wsc
• coqa
• super_glue_copa
• super_glue_cb
• winograd_wsc
• mgsm
• scrolls_contract_nli

⚠️ 重要提示

如果找不到数据集，那是公司内部数据，无法公开。

dpo数据集信息：datasets_encomp_151k

我们从训练数据集中的每个类别中随机选择数据，使用模型生成句子中对数低于均值的句子构建了DPO（直接偏好优化）数据集。

⚠️ 重要提示

很抱歉，我无法透露具体内容。

Open LLM排行榜评估结果

详细结果可查看此处

📄 许可证

本项目采用Apache-2.0许可证。