Magnum V2 72b

🚀 magnum-v2-72b大语言模型

这是一系列旨在复制Claude 3模型（特别是Sonnet和Opus）散文质量的模型中的第七个（幸运的一个！）。该模型在Qwen-2 72B Instruct的基础上进行了微调。

🚀 快速开始

本模型使用ChatML格式进行指令微调。典型的输入如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

✨ 主要特性

• 该模型是系列模型中的第七个，致力于复制Claude 3系列模型的散文质量。
• 基于Qwen-2 72B Instruct进行微调。
• 使用ChatML格式进行指令微调。

📦 安装指南

文档未提供安装步骤，故跳过该章节。

💻 使用示例

基础用法

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

📚 详细文档

模型信息

评估结果

Open LLM Leaderboard评估结果 详细结果可查看此处

🔧 技术细节

训练情况

• 训练轮数：2个epoch。
• 训练硬件：使用8个AMD Instinct™ MI300X Accelerators进行全参数微调。
• 训练参数：使用0.01的权重衰减来进一步稳定损失轨迹并减轻灾难性遗忘，使用4e - 6的峰值学习率以防止第二个epoch的损失下降过多（损失下降过多是过拟合的强烈指标）。
• 样本打包：使用16k tokens进行样本打包，而非之前运行中的8k tokens。

致谢

• anthracite-org/Stheno-Data-Filtered
• anthracite-org/kalo-opus-instruct-22k-no-refusal
• anthracite-org/nopm_claude_writing_fixed

本模型是团队共同努力的成果，感谢Anthracite的所有成员。

📄 许可证

该模型的许可证为other，许可证名称为tongyi-qianwen，许可证链接。