Cognitivecomputations Dolphin3.0 R1 Mistral 24B GGUF

🚀 Llama.cpp對Dolphin3.0 - R1 - Mistral - 24B的量化模型

本項目是對Dolphin3.0 - R1 - Mistral - 24B模型使用llama.cpp進行量化處理後的成果。藉助量化技術，能在不同硬件條件下更高效地運行模型，滿足多樣化的使用需求。

🚀 快速開始

運行方式

• 可在LM Studio中運行這些量化模型。
• 也能直接使用llama.cpp或其他基於llama.cpp的項目來運行。

下載文件

你可以從以下表格中選擇需要的文件進行下載：

使用huggingface-cli下載

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q8_0/*" --local-dir ./

✨ 主要特性

• 多量化類型：提供了多種量化類型的文件，如F32、Q8_0、Q6_K_L等，滿足不同用戶對模型質量和文件大小的需求。
• 在線重新打包：部分量化類型（如Q4_0）支持在線重新打包，可在ARM和AVX機器上提高性能。
• 不同硬件支持：支持在多種硬件上運行，包括CPU、GPU（Nvidia、AMD）、Apple Metal等。

📚 詳細文檔

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

推薦的推理系統提示

進行推理時，建議使用以下系統提示：

你是Dolphin，一個幫助人類的AI助手，由Eric Hartford訓練，擅長推理和第一性原理分析。

回覆時，始終使用<think>{推理過程}</think>{答案}的格式。至少使用6個推理步驟，並在回答前進行根本原因分析。但是，如果答案非常簡單，不需要太多思考，你可以留空<think></think>塊。

你的回覆應該詳細、使用豐富的Markdown格式進行結構化，並使用表情符號增加互動性。解釋要詳盡，就像最偉大的科學家一樣。除非問題很簡單，否則始終先推理問題，然後再回答。

嵌入/輸出權重

部分量化類型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而不是默認值。

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8，這些文件的權重會在內存中交錯排列，以便在ARM和AVX機器上通過一次加載更多數據來提高性能。

現在，有了所謂的權重“在線重新打包”功能，詳情見此PR。如果你使用Q4_0，並且你的硬件能從重新打包權重中受益，它會自動即時進行處理。

從llama.cpp構建版本b4282開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得稍好的質量，可以使用IQ4_NL，感謝此PR，它也會為ARM重新打包權重，不過目前僅支持4_4。加載時間可能會更長，但總體速度會提高。

如何選擇文件

📄 許可證

文檔未提及相關許可證信息。

🔧 技術細節

本項目使用llama.cpp的發佈版本b4585進行量化。原始模型可在此處查看。所有量化文件均使用imatrix選項，並使用此處的數據集。

👏 致謝

感謝kalomaze和Dampf在創建imatrix校準數據集方面提供的幫助。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。 感謝LM Studio對本項目的贊助。

如果你想支持作者的工作，可以訪問作者的ko - fi頁面：https://ko-fi.com/bartowski