Magnum V2 12b

🚀 magnum-v2-12b模型

magnum-v2-12b模型是系列模型中的第四款，旨在復刻Claude 3系列模型（尤其是Sonnet和Opus）的文本質量。該模型基於Mistral-Nemo-Base-2407微調而來，具備強大的文本生成能力。

🚀 快速開始

此模型經過指令微調，採用ChatML格式。典型的輸入示例如下：

"""<|im_start|>system
system prompt<|im_end|>
<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

✨ 主要特性

• 語言支持豐富：支持英語、法語、德語、西班牙語、意大利語、葡萄牙語、俄語、中文和日語。
• 復刻優質文本：致力於複製Claude 3模型（Sonnet和Opus）的文本質量。
• 基於強大基礎：在Mistral-Nemo-Base-2407基礎上進行微調。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

基礎用法

"""<|im_start|>system
system prompt<|im_end|>
<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

📚 詳細文檔

模型信息

評估結果

詳細結果可查看此處。

🔧 技術細節

模型使用ChatML格式進行指令微調，訓練過程中使用了8塊NVIDIA H100 Tensor Core GPU進行全參數微調，訓練輪次為2個epoch。

📄 許可證

本模型採用Apache-2.0許可證。

致謝

本模型是Anthracite團隊共同努力的成果，感謝以下數據集的貢獻：

• Stheno數據集（過濾後）
• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned（約16k行子集）
• kalomaze/Opus_Instruct_3k