# DPO強化学習

Bielik-1.5B-v3-Instructは16億パラメータを持つポーランド語生成テキストモデルで、Bielik-1.5B-v3を基に命令ファインチューニングされ、SpeakLeashとACK Cyfronet AGHの協力で開発されました。

Qwen/Qwen2.5-72B-Instructを基に微調整した高度な言語モデルで、自然言語理解と生成に優れた性能を発揮

Llama 3アーキテクチャに基づく8Bパラメータモデル、複数のDPOデータセットでトレーニングされ、テキスト生成タスクに特化

Minbyul/selfbiorag-7b-wo-kqa_golden-iter-dpo-step3-filteredを基にファインチューニングしたバージョンで、HuggingFace MedLFQA（kqa_goldenを除く）データセットを使用して直接選好最適化(DPO)トレーニングを実施

winglian/Llama-3-8b-64k-PoSE を基に開発された8Bパラメータの大規模言語モデル。PoSE技術を用いてコンテキスト長を64kに拡張し、DPO微調整で最適化

台風7Bを微調整したタイ語命令最適化モデルで、直接選好最適化(DPO)技術を用いてトレーニング

IkariDevとUndiが共同開発した7Bパラメータの大規模言語モデル、DPO最適化訓練を経た

Phi2アーキテクチャに基づく2億パラメータの中国語因果言語モデル、テキスト生成タスクをサポート

DPOpenHermes 7B v2はOpenHermes-2.5-Mistral-7Bを基にした2回目のRL微調整モデルで、直接選好最適化（DPO）による強化学習を行い、Intel/orca_dpo_pairsとallenai/ultrafeedback_binarized_cleanedの選好データセットを使用しています。

CausalLM/14B-DPO-αは因果言語モデルに基づく大規模言語モデルで、中英テキスト生成タスクをサポートし、MT-Bench評価で優れた性能を発揮します。