Magnum V2.5 12b Kto

🚀 v2.5 KTO模型

v2.5 KTO是一款專注於文本生成的模型，旨在復刻Claude 3系列模型（尤其是Sonnet和Opus）的散文質量。它基於anthracite-org/magnum-12b-v2進行微調，支持包括中文、英文、法文等多種語言。

🚀 快速開始

模型簡介

v2.5 KTO是一個實驗性版本，正在測試KTO + DPOP的混合強化學習策略。對於“拒絕”數據，我們從原始模型中採樣；對於“選擇”數據，我們使用原始微調數據集中的數據。目前該策略僅在部分指令跟隨數據上進行了測試，未來計劃擴大KTO數據集規模以提升泛化能力。

提示格式

該模型使用ChatML格式進行指令調優，典型的輸入格式如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

✨ 主要特性

• 多語言支持：支持英語、法語、德語、西班牙語、意大利語、葡萄牙語、俄語、中文和日語。
• 文本生成能力：專注於文本生成任務，可用於聊天等場景。
• 復刻Claude 3風格：努力復刻Claude 3模型（Sonnet和Opus）的散文質量。

📦 相關信息

📚 詳細文檔

數據來源

本模型的訓練使用了以下數據集：

• Stheno數據集（過濾後）
• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned（約16k行子集）
• kalomaze/Opus_Instruct_3k

團隊貢獻

本模型是Anthracite團隊共同努力的成果，感謝團隊所有成員的貢獻。

📄 許可證

本模型採用Apache-2.0許可證。

🔧 安全相關

... （原文檔此處未提供具體內容，故保留）