# DPO對齊

Bielik-4.5B-v3-Instruct是一款擁有46億參數的波蘭語生成式文本模型，基於Bielik-4.5B-v3進行指令微調，展現出卓越的波蘭語理解和處理能力。

基於 Mistral-7b 的意大利語聊天模型，經過大規模意大利語語料庫預訓練和微調

Llama-3-SauerkrautLM-8b-Instruct 是由 VAGO Solutions 和 Hyperspace.ai 聯合打造的基於 Meta-Llama-3-8B-Instruct 的改良版本，通過 DPO 對齊優化，支持德語和英語。

Tulu V2 DPO 7B是基於Llama 2 7B微調的語言模型，採用直接偏好優化(DPO)方法訓練，旨在作為通用助手。