Dolphin 2.9 Llama3 70b 5.0bpw H6 Exl2

🚀 海豚 2.9 Llama 3 70b 🐬

由Eric Hartford、Lucas Atkins、Fernando Fernandes精心挑選和訓練，並得到了認知計算社區的幫助

本模型基於Llama-3-70b構建，受META LLAMA 3社區許可協議的約束。它具備多種指令處理、對話交流和代碼編寫能力，還初步具備代理能力並支持函數調用。

🚀 快速開始

模型訓練信息

• 訓練團隊：由Eric Hartford、Lucas Atkins、Fernando Fernandes精心挑選和訓練，並得到了認知計算社區的幫助。
• 贊助支持：感謝Crusoe Cloud提供出色的按需8xH100節點。
• 訓練時長：在Crusoe Cloud提供的8xH100節點上花費了2.5天完成訓練。
• 訓練方式：對所有參數進行FFT訓練，使用ChatML提示模板格式。

數據集

本模型使用了以下數據集進行訓練：

• cognitivecomputations/Dolphin-2.9
• teknium/OpenHermes-2.5
• m-a-p/CodeFeedback-Filtered-Instruction
• cognitivecomputations/dolphin-coder
• cognitivecomputations/samantha-data
• HuggingFaceH4/ultrachat_200k
• microsoft/orca-math-word-problems-200k
• abacusai/SystemChat-1.1
• Locutusque/function-calling-chatml
• internlm/Agent-FLAN

提示模板示例

<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型特性

• 能力多樣：Dolphin-2.9具備多種指令處理、對話交流和代碼編寫能力，還初步具備代理能力並支持函數調用。
• 無審查機制：Dolphin沒有審查機制，已對數據集進行過濾以去除對齊和偏差，這使得模型更加合規。建議在將模型作為服務公開之前，實現自己的對齊層，因為它可能會高度符合任何請求，甚至是不道德的請求。請閱讀關於無審查模型的博客文章：https://erichartford.com/uncensored-models 。用戶需對使用此模型創建的任何內容負責，請謹慎使用。

許可證

Dolphin根據Meta的Llama許可證進行許可。允許在符合Meta的Llama-3許可證的範圍內進行任何使用，包括商業使用。Dolphin是在包括GPT4等模型生成的數據上進行訓練的。

社區交流

• Discord：https://discord.gg/8fbBeC7ZGx

模型圖片

📚 詳細文檔

評估結果

量化版本

• https://huggingface.co/crusoeai/dolphin-2.9-llama3-70b-GGUF
• https://huggingface.co/crusoeai/dolphin2.9-llama3-70b-2.25bpw-exl2
• https://huggingface.co/crusoeai/dolphin2.9-llama3-70b-2.5bpw-exl2
• https://huggingface.co/crusoeai/dolphin2.9-llama3-70b-4.5bpw-exl2

📄 許可證

本模型遵循META LLAMA 3社區許可協議。

⚠️ 重要提示

此模型沒有審查機制，可能會高度符合任何請求，甚至是不道德的請求。建議在將模型作為服務公開之前，實現自己的對齊層。用戶需對使用此模型創建的任何內容負責，請謹慎使用。

💡 使用建議

閱讀關於無審查模型的博客文章：https://erichartford.com/uncensored-models ，以更好地瞭解模型特性和使用風險。