Magnum V2 12b Gguf

🚀 模型項目：Anthracite組織的文本生成模型

本項目是Anthracite組織在文本生成領域的重要成果，旨在復現Claude 3系列模型的散文質量。項目提供了模型的GGUF量化版本，同時給出了模型的使用提示、訓練信息等內容，為相關領域的研究和應用提供了有價值的參考。

🚀 快速開始

此倉庫包含該模型的GGUF量化版本。若你需要原始權重，請點擊此處獲取。

這是旨在復現Claude 3系列模型（特別是Sonnet和Opus）散文質量的一系列模型中的第四款。該模型基於Mistral-Nemo-Base-2407進行微調。

✨ 主要特性

• 多語言支持：支持英語、法語、德語、西班牙語、意大利語、葡萄牙語、俄語、中文和日語等多種語言。
• 文本生成：屬於文本生成類型的模型，可用於對話等場景。

💻 使用示例

基礎用法

模型採用ChatML格式進行指令調整。典型的輸入示例如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

📚 詳細文檔

參考數據集

• Stheno dataset (filtered)
• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned （約16k行的子集）
• kalomaze/Opus_Instruct_3k

本模型是團隊共同努力的成果，感謝Anthracite的所有成員。

訓練詳情

模型訓練了2個輪次。在全參數微調過程中，使用了8塊NVIDIA H100 Tensor Core GPU。

🔧 技術細節

📄 許可證

本模型採用Apache-2.0許可證。