Magnum V2.5 12b Kto

🚀 v2.5 KTO模型

v2.5 KTO是一款专注于文本生成的模型，旨在复刻Claude 3系列模型（尤其是Sonnet和Opus）的散文质量。它基于anthracite-org/magnum-12b-v2进行微调，支持包括中文、英文、法文等多种语言。

🚀 快速开始

模型简介

v2.5 KTO是一个实验性版本，正在测试KTO + DPOP的混合强化学习策略。对于“拒绝”数据，我们从原始模型中采样；对于“选择”数据，我们使用原始微调数据集中的数据。目前该策略仅在部分指令跟随数据上进行了测试，未来计划扩大KTO数据集规模以提升泛化能力。

提示格式

该模型使用ChatML格式进行指令调优，典型的输入格式如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

✨ 主要特性

• 多语言支持：支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、中文和日语。
• 文本生成能力：专注于文本生成任务，可用于聊天等场景。
• 复刻Claude 3风格：努力复刻Claude 3模型（Sonnet和Opus）的散文质量。

📦 相关信息

📚 详细文档

数据来源

本模型的训练使用了以下数据集：

• Stheno数据集（过滤后）
• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned（约16k行子集）
• kalomaze/Opus_Instruct_3k

团队贡献

本模型是Anthracite团队共同努力的成果，感谢团队所有成员的贡献。

📄 许可证

本模型采用Apache-2.0许可证。

🔧 安全相关

... （原文档此处未提供具体内容，故保留）