# DPO微調

Poro 2 8B Instruct 是一個基於 Llama 3.1 8B 架構的指令遵循聊天機器人模型，專為芬蘭語和英語的對話式 AI 應用設計。

這是一個基於Llama 3.3的70B參數大語言模型，經過SFT+DPO微調，專注於角色驅動的對話和創意內容生成

EchoLLaMA是一個多模態AI系統，能夠將3D視覺數據轉化為自然語音描述，同時支持通過語音輸入進行交互對話。

基於Qwen2.5-14B模型通過TIES方法融合的增強版本，專注於指令跟隨和對話優化

Chocolatine-2-14B-Instruct-v2.0.3 是一個基於 Qwen-2.5-14B 架構的大語言模型，經過 DPO 微調，專注於法語和英語任務，在法語 LLM 排行榜中表現優異。

基於VAGOsolutions/SauerkrautLM-gemma-2-9b-it微調的版本，優化了意大利語性能表現，支持8k上下文長度。

Llama-VARCO-8B-Instruct是一個基於Llama構建的生成式模型，通過額外的訓練，在韓語處理方面表現出色，同時保持英語能力。

Sunfall模型是基於Llama-3.1-8B-Stheno-v3.4開發的自然語言處理模型，適用於特定功能和應用場景。

Tanuki-8B是一個8B參數的日語大語言模型，經過SFT和DPO優化對話任務，由GENIAC松尾研究室開發

Tanuki-8x8B是從零開始預訓練的大規模語言模型，通過SFT和DPO針對對話任務進行了優化

這是一個經過DPO微調的Llama-3.1模型，能表現得更'人性化'，避免AI助手式的生硬回答，適用於角色扮演場景。

Ko-Gemma-2-9B-IT是Gemma模型系列中的一款韓語對話模型，基於google/gemma-2-9b-it進行監督微調（SFT）和直接偏好優化（DPO）訓練，專門針對韓語文本生成任務優化。

Jamet-8B-L3-MK.V-Blackroot 是一個基於 Llama 3 的角色扮演和故事敘述模型，經過多次迭代和優化，特別適合創意寫作和互動對話。

基於Llama-3-8b構建的DPO微調模型，專注於提升真實性和數學推理能力

基於Meta-Llama-3-70B-Instruct模型通過DPO微調的大語言模型，在多項基準測試中表現優異

基於Mistral 7B大語言模型，通過預訓練模型合併並在Date-DPO-v2數據集上微調，擅長角色扮演、創意寫作和通用智能任務。

Neural-4-QA-7b 是一個基於多個7B參數規模模型合併的大語言模型，專注於問答任務，採用DARE-TIES合併方法優化性能。

Noro-Hermes-3x7B 是一個採用懶人融合工具包構建的混合專家模型（MoE），融合了三個7B參數的Mistral變體模型，具備智能助手、創意角色扮演和通用任務處理能力。

StarChat2是基於StarCoder2微調的160億參數編程助手模型，擅長對話和代碼生成任務

Zephyr 7B Gemma是基於google/gemma-7b微調的語言模型，使用直接偏好優化(DPO)在公開合成數據集上訓練，旨在作為有用的助手。

基於EEVE-Korean-Instruct-10.8B-v1.0的韓語指令優化模型，採用直接偏好優化(DPO)方法訓練

Minueza-32M-Chat是一個擁有3200萬參數的聊天模型，基於Felladrin/Minueza-32M-Base進行監督微調(SFT)和直接偏好優化(DPO)訓練。

OLMo 7B Instruct是基於Dolma數據集訓練的開放語言模型，經過SFT和DPO優化，專為問答任務設計。

基於SOLAR-10.7B-v1.0的韓語詞彙擴展版，經過DPO微調的大語言模型

首個專為本地運行設計的波蘭語對話助手模型，基於TinyLlama-1.1B擴展波蘭語分詞器並進行預訓練和DPO優化

這是一個經過剪枝和DPO訓練的7B參數規模的小型LLM，專為設備端用途優化

NeuralHermes是基於OpenHermes-2.5-Mistral-7B模型，通過直接偏好優化(DPO)進一步微調而成的大語言模型，在多項基準測試中表現優異。

基於14B參數的因果語言模型，經過DPO優化訓練，支持中英文文本生成任務

Mini_synatra_7b_02是由Minirecord公司基於maywell/Synatra-7B-v0.3-dpo模型微調的大語言模型，專注於文本生成任務。

14B參數規模的因果語言模型，完全兼容Meta LLaMA 2架構，在多項基準測試中超越70B以下模型