Magnum V2 12b Gguf

🚀 模型项目：Anthracite组织的文本生成模型

本项目是Anthracite组织在文本生成领域的重要成果，旨在复现Claude 3系列模型的散文质量。项目提供了模型的GGUF量化版本，同时给出了模型的使用提示、训练信息等内容，为相关领域的研究和应用提供了有价值的参考。

🚀 快速开始

此仓库包含该模型的GGUF量化版本。若你需要原始权重，请点击此处获取。

这是旨在复现Claude 3系列模型（特别是Sonnet和Opus）散文质量的一系列模型中的第四款。该模型基于Mistral-Nemo-Base-2407进行微调。

✨ 主要特性

• 多语言支持：支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、中文和日语等多种语言。
• 文本生成：属于文本生成类型的模型，可用于对话等场景。

💻 使用示例

基础用法

模型采用ChatML格式进行指令调整。典型的输入示例如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

📚 详细文档

参考数据集

• Stheno dataset (filtered)
• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned （约16k行的子集）
• kalomaze/Opus_Instruct_3k

本模型是团队共同努力的成果，感谢Anthracite的所有成员。

训练详情

模型训练了2个轮次。在全参数微调过程中，使用了8块NVIDIA H100 Tensor Core GPU。

🔧 技术细节

📄 许可证

本模型采用Apache-2.0许可证。