Calme 3.2 Instruct 78b

🚀 MaziyarPanahi/calme-3.2-instruct-78b

該模型是強大的Qwen/Qwen2.5 - 72B的高級迭代版本，專門針對通用領域進行了微調，以增強其性能。Qwen2.5 - 72B基礎模型通過自合併的方式創建了一個更大的模型，之後在自定義數據集上進行了微調。

🚀 快速開始

模型使用示例

# Use a pipeline as a high-level helper

from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="MaziyarPanahi/calme-3.2-instruct-78b")
pipe(messages)


# Load model directly

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/calme-3.2-instruct-78b")
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/calme-3.2-instruct-78b")

✨ 主要特性

• 基於強大的Qwen/Qwen2.5 - 72B模型進行高級迭代。
• 通過自合併創建更大模型，並在自定義數據集上微調，提升通用領域能力。

📦 量化模型

⚡ Quantized GGUF

感謝 bartowski 提供的 GGUF 模型：calme-3.2-instruct-78b-GGUF

⚡ Quantized EXL2

感謝 DavidCatalano 提供的 EXL2 4.5 位/權重（bpw）模型：DavidCatalano/calme-3.2-instruct-78b-exl2

🏆 Open LLM Leaderboard 評估結果

詳細結果可查看 此處

📚 詳細文檔

提示模板

該模型使用 ChatML 提示模板：

<|im_start|>system
{System}
<|im_end|>
<|im_start|>user
{User}
<|im_end|>
<|im_start|>assistant
{Assistant}

🔧 技術細節

模型基於Qwen/Qwen2.5 - 72B進行自合併和微調。自合併操作創建了更大的模型，之後在自定義數據集上進行微調，以提升其在通用領域的性能。

📄 許可證

本模型使用的許可證為 Qwen 許可證

重要提示與建議

⚠️ 重要提示

這是一個實驗性模型，因此對於某些提示可能表現不佳，並且可能對超參數敏感。歡迎提供任何反饋，以便在下一次迭代中修復問題。 ❤️

💡 使用建議

與任何大型語言模型一樣，用戶應注意潛在的偏差和侷限性。建議在生產環境中部署此模型時實施適當的保障措施和人工監督。