# DPO優化

基於DeepSeek-R1-Distill-Qwen-14B微調優化的創意寫作增強模型，在創意寫作方面表現顯著提升

Turkish-Gemma-9b-v0.1是基於Gemma-2-9b開發的土耳其語文本生成模型，通過持續預訓練、監督微調（SFT）、直接偏好優化（DPO）和模型合併技術優化而成。

基於DPO方法微調的語言模型，適用於文本生成任務

這是一個基於離散Hubert標記的語音語言模型，專注於高效訓練，能夠生成語音片段的延續。

SummLlama3.1-8B是基於Llama3.1-8B-Instruct初始化的文本摘要模型，通過大規模摘要反饋的直接偏好優化（DPO）訓練，在忠實性、完整性和簡潔性方面表現優異。

SummLlama3-70B是基於Llama3-70B-Instruct初始化的文本摘要模型，通過大規模摘要反饋的DPO訓練優化，在忠實性、完整性和簡潔性方面表現優異。

UNA-ThePitbull-21.4B-v2是一款基於21.4B參數的大型語言模型，性能接近70B模型，融合了情商與智商，擅長對話和文本生成。

OpenBioLLM-70B是專為生物醫學領域設計的先進開源語言模型，基於Meta-Llama-3-70B-Instruct微調，在生物醫學任務中表現卓越。

Rhea-72b-v0.5是基於Smaug-72B-v0.1微調的大語言模型，在HuggingFace開放大模型排行榜上排名第一。

Nous Hermes 2是基於Mistral 7B DPO的新一代旗艦級7B Hermes模型，經過DPO優化，在多個測試基準上表現優異。

支持匈牙利語和英語的對齊人類偏好的聊天模型，基於Llama-2-7b適配到匈牙利語

LLaVA-v1.5-13B-DPO 是一個基於LLaVA框架的視覺語言模型，經過直接偏好優化(DPO)訓練，並轉換為GGUF量化格式以提高推理效率。

採用DPO訓練的中文文本糾錯模型，能夠自動檢測並修正中文文本中的拼寫和語法錯誤。

TheBeagle是基於The Bagel數據集訓練的70億參數模型，採用DPO（直接偏好優化）和UNA（統一神經架構）技術優化，在多任務中表現優異。

結合SDXL極速版與直接偏好優化(DPO)技術的文本生成圖像模型，支持快速高質量圖像生成

Rocket-3B是一個30億參數的大型語言模型，通過直接偏好優化(DPO)在公開數據集上訓練，性能超越許多更大規模的模型。