Rhea 72b V0.5

🚀 Rhea-72b-v0.5

Rheaプロジェクトは、LLMモデルのパフォーマンスを向上させるために、様々な学習方法に関する研究を行っています。このモデルは、特定のフレームワークを用いて微調整され、独自のデータセットを使って学習されています。

Rheaプロジェクトは、LLMモデルのパフォーマンス向上のために、様々な学習方法に関する研究を行っています。私たちは、noxフレームワークを使用して既存のモデルを微調整しました。現在公開されているデータセットに基づいてSFT学習用のデータセットを構築し、SGD（DPO学習用の自己生成データセット作成方法）を使用してDPO学習用のデータセットを作成しました。

当社のモデルは、HuggingFaceのOpen LLMリーダーボードで1位にランクインしました。

✨ 主な機能

SGD : A Study on Self-Generated Dataset creation method for DPO Learning

この手法は、DPO（自己教師付き学習）モデル用のデータセットを生成する新しい方法を提案しています。モデルが生成した文を既存のデータセットの実際の正解と比較し、モデルの生成結果が正解と一致しない文を追加する手法を提案します。これにより、モデルが自律的に学習データを作成することができ、DPOモデルのパフォーマンスを向上させることができます。

📚 ドキュメント

モデルの詳細

sft dataset info : datasets_enconv_4m

100k random shuffle datasets

• stack-exchange-preferences
• SlimOrca
• alpaca-gpt4
• SHP
• HC3
• databricks-dolly-15k
• orca-dpo-pairs
• us-stockname
• OpenHermes2.5-dpo-binarized-alpha
• distilabel-math-preference-dpo
• Neural-DPO
• truthy-dpo-v0.1
• distilabel-capybara-dpo-7k-binarized
• us-sentiment
• contextual-dpo-v0.1

1k random shuffle datasets

• bigbench
• glue_mnli
• glue_qqp
• xnli
• codexglue_code2text_go
• trivia_qa
• medmcqa
• hendrycks_ethics
• super_glue_record
• glue_qnli
• anli_r3
• swag
• squad_v2
• nq_open
• drop
• glue_sst2
• blimp
• paws-x
• unscramble
• anli_r2
• babi
• math_qa
• social_i_qa
• piqa
• arithmetic
• anli_r1
• prost
• sciq
• mc_taco
• medqa
• super_glue_boolq
• hendrycks_math
• lambada
• toxigen-data
• glue_cola
• pubmed_qa
• logiqa
• mutual
• headqa
• bbh
• super_glue_wic
• openbookqa
• glue_mrpc
• web_questions
• qasper
• super_glue_multirc
• story_cloze
• super_glue_rte
• glue_rte
• race
• xwinograd
• asdiv
• xstory_cloze
• crows_pairs_multilingual
• belebele
• glue_wnli
• super_glue_wsc
• coqa
• super_glue_copa
• super_glue_cb
• winograd_wsc
• mgsm
• scrolls_contract_nli

• データセットが見つからない場合は、社内データであり、公開することができません。

dpo dataset info : datasets_encomp_151k

学習データセット内の各カテゴリからランダムにデータを選択し、モデルが生成した文のうち平均よりも低いロジットを持つ文を使用してDPO（直接嗜好最適化）データセットを構築しました。

• 申し訳ありませんが、公開することはできません。

📊 評価結果

Open LLM Leaderboard Evaluation Results

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。