# DPO強化學習

Bielik-1.5B-v3-Instruct是一款擁有16億參數的波蘭語生成式文本模型，基於Bielik-1.5B-v3進行指令微調，由SpeakLeash與ACK Cyfronet AGH合作開發。

基於Qwen/Qwen2.5-72B-Instruct微調的高級語言模型，在自然語言理解和生成方面表現優異

基於Llama 3架構的8B參數模型，使用多種DPO數據集訓練，專注於文本生成任務

基於Minbyul/selfbiorag-7b-wo-kqa_golden-iter-dpo-step3-filtered微調的版本，使用HuggingFace MedLFQA（不含kqa_golden）數據集進行直接偏好優化(DPO)訓練

基於 winglian/Llama-3-8b-64k-PoSE 開發的 8B 參數大語言模型，採用 PoSE 技術擴展上下文長度至 64k，並經過 DPO 微調優化

基於颱風7B微調的泰語指令優化模型，採用直接偏好優化(DPO)技術訓練

由IkariDev與Undi聯合創作的7B參數大語言模型，經過DPO優化訓練

基於Phi2架構的2億參數中文因果語言模型，支持文本生成任務

DPOpenHermes 7B v2是基於OpenHermes-2.5-Mistral-7B的第二次RL微調模型，通過直接偏好優化（DPO）進行強化學習，使用了Intel/orca_dpo_pairs和allenai/ultrafeedback_binarized_cleaned偏好數據集。

CausalLM/14B-DPO-α是一個基於因果語言模型的大規模語言模型，支持中英文文本生成任務，在MT-Bench評測中表現優異。