Magnum V2 72b

🚀 magnum-v2-72b大語言模型

這是一系列旨在複製Claude 3模型（特別是Sonnet和Opus）散文質量的模型中的第七個（幸運的一個！）。該模型在Qwen-2 72B Instruct的基礎上進行了微調。

🚀 快速開始

本模型使用ChatML格式進行指令微調。典型的輸入如下：

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

✨ 主要特性

• 該模型是系列模型中的第七個，致力於複製Claude 3系列模型的散文質量。
• 基於Qwen-2 72B Instruct進行微調。
• 使用ChatML格式進行指令微調。

📦 安裝指南

文檔未提供安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""

📚 詳細文檔

模型信息

評估結果

Open LLM Leaderboard評估結果 詳細結果可查看此處

🔧 技術細節

訓練情況

• 訓練輪數：2個epoch。
• 訓練硬件：使用8個AMD Instinct™ MI300X Accelerators進行全參數微調。
• 訓練參數：使用0.01的權重衰減來進一步穩定損失軌跡並減輕災難性遺忘，使用4e - 6的峰值學習率以防止第二個epoch的損失下降過多（損失下降過多是過擬合的強烈指標）。
• 樣本打包：使用16k tokens進行樣本打包，而非之前運行中的8k tokens。

致謝

• anthracite-org/Stheno-Data-Filtered
• anthracite-org/kalo-opus-instruct-22k-no-refusal
• anthracite-org/nopm_claude_writing_fixed

本模型是團隊共同努力的成果，感謝Anthracite的所有成員。

📄 許可證

該模型的許可證為other，許可證名稱為tongyi-qianwen，許可證鏈接。