# DPO对齐

Bielik-4.5B-v3-Instruct是一款拥有46亿参数的波兰语生成式文本模型，基于Bielik-4.5B-v3进行指令微调，展现出卓越的波兰语理解和处理能力。

基于 Mistral-7b 的意大利语聊天模型，经过大规模意大利语语料库预训练和微调

Llama-3-SauerkrautLM-8b-Instruct 是由 VAGO Solutions 和 Hyperspace.ai 联合打造的基于 Meta-Llama-3-8B-Instruct 的改良版本，通过 DPO 对齐优化，支持德语和英语。

Tulu V2 DPO 7B是基于Llama 2 7B微调的语言模型，采用直接偏好优化(DPO)方法训练，旨在作为通用助手。