模型概述
模型特點
模型能力
使用案例
🚀 Llama.cpp對Dolphin3.0 - R1 - Mistral - 24B的量化模型
本項目是對Dolphin3.0 - R1 - Mistral - 24B模型使用llama.cpp進行量化處理後的成果。藉助量化技術,能在不同硬件條件下更高效地運行模型,滿足多樣化的使用需求。
🚀 快速開始
運行方式
下載文件
你可以從以下表格中選擇需要的文件進行下載:
文件名 | 量化類型 | 文件大小 | 分割情況 | 描述 |
---|---|---|---|---|
Dolphin3.0-R1-Mistral-24B-f32.gguf | f32 | 94.30GB | true | 完整的F32權重。 |
Dolphin3.0-R1-Mistral-24B-Q8_0.gguf | Q8_0 | 25.05GB | false | 極高質量,通常不需要,但為最大可用量化。 |
Dolphin3.0-R1-Mistral-24B-Q6_K_L.gguf | Q6_K_L | 19.67GB | false | 嵌入和輸出權重使用Q8_0。非常高質量,接近完美,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q6_K.gguf | Q6_K | 19.35GB | false | 非常高質量,接近完美,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q5_K_L.gguf | Q5_K_L | 17.18GB | false | 嵌入和輸出權重使用Q8_0。高質量,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q5_K_M.gguf | Q5_K_M | 16.76GB | false | 高質量,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q5_K_S.gguf | Q5_K_S | 16.30GB | false | 高質量,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q4_1.gguf | Q4_1 | 14.87GB | false | 舊格式,性能與Q4_K_S相似,但在蘋果硅芯片上每瓦處理令牌數有所提高。 |
Dolphin3.0-R1-Mistral-24B-Q4_K_L.gguf | Q4_K_L | 14.83GB | false | 嵌入和輸出權重使用Q8_0。質量良好,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q4_K_M.gguf | Q4_K_M | 14.33GB | false | 質量良好,是大多數用例的默認大小,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q4_K_S.gguf | Q4_K_S | 13.55GB | false | 質量稍低,但節省空間,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q4_0.gguf | Q4_0 | 13.49GB | false | 舊格式,可為ARM和AVX CPU推理提供在線重新打包。 |
Dolphin3.0-R1-Mistral-24B-IQ4_NL.gguf | IQ4_NL | 13.47GB | false | 與IQ4_XS相似,但稍大。可為ARM CPU推理提供在線重新打包。 |
Dolphin3.0-R1-Mistral-24B-Q3_K_XL.gguf | Q3_K_XL | 12.99GB | false | 嵌入和輸出權重使用Q8_0。質量較低但可用,適合低內存情況。 |
Dolphin3.0-R1-Mistral-24B-IQ4_XS.gguf | IQ4_XS | 12.76GB | false | 質量不錯,比Q4_K_S小,性能相似,推薦。 |
Dolphin3.0-R1-Mistral-24B-Q3_K_L.gguf | Q3_K_L | 12.40GB | false | 質量較低但可用,適合低內存情況。 |
Dolphin3.0-R1-Mistral-24B-Q3_K_M.gguf | Q3_K_M | 11.47GB | false | 低質量。 |
Dolphin3.0-R1-Mistral-24B-IQ3_M.gguf | IQ3_M | 10.65GB | false | 中低質量,新方法,性能與Q3_K_M相當。 |
Dolphin3.0-R1-Mistral-24B-Q3_K_S.gguf | Q3_K_S | 10.40GB | false | 低質量,不推薦。 |
Dolphin3.0-R1-Mistral-24B-IQ3_XS.gguf | IQ3_XS | 9.91GB | false | 質量較低,新方法,性能不錯,略優於Q3_K_S。 |
Dolphin3.0-R1-Mistral-24B-Q2_K_L.gguf | Q2_K_L | 9.55GB | false | 嵌入和輸出權重使用Q8_0。質量非常低,但出人意料地可用。 |
Dolphin3.0-R1-Mistral-24B-Q2_K.gguf | Q2_K | 8.89GB | false | 質量非常低,但出人意料地可用。 |
Dolphin3.0-R1-Mistral-24B-IQ2_M.gguf | IQ2_M | 8.11GB | false | 質量相對較低,使用了最先進的技術,出人意料地可用。 |
Dolphin3.0-R1-Mistral-24B-IQ2_S.gguf | IQ2_S | 7.48GB | false | 低質量,使用了最先進的技術,可用。 |
Dolphin3.0-R1-Mistral-24B-IQ2_XS.gguf | IQ2_XS | 7.21GB | false | 低質量,使用了最先進的技術,可用。 |
Dolphin3.0-R1-Mistral-24B-IQ2_XXS.gguf | IQ2_XXS | 6.55GB | false | 質量非常低,使用了最先進的技術,可用。 |
使用huggingface-cli下載
點擊查看下載說明
首先,確保你已經安裝了hugginface-cli:
pip install -U "huggingface_hub[cli]"
然後,你可以指定要下載的特定文件:
huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q4_K_M.gguf" --local-dir ./
如果模型大於50GB,它會被分割成多個文件。要將它們全部下載到本地文件夾,請運行:
huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q8_0/*" --local-dir ./
你可以指定一個新的本地目錄(如cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q8_0),也可以將它們全部下載到當前目錄(./)。
✨ 主要特性
- 多量化類型:提供了多種量化類型的文件,如F32、Q8_0、Q6_K_L等,滿足不同用戶對模型質量和文件大小的需求。
- 在線重新打包:部分量化類型(如Q4_0)支持在線重新打包,可在ARM和AVX機器上提高性能。
- 不同硬件支持:支持在多種硬件上運行,包括CPU、GPU(Nvidia、AMD)、Apple Metal等。
📚 詳細文檔
提示格式
<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
推薦的推理系統提示
進行推理時,建議使用以下系統提示:
你是Dolphin,一個幫助人類的AI助手,由Eric Hartford訓練,擅長推理和第一性原理分析。
回覆時,始終使用<think>{推理過程}</think>{答案}的格式。至少使用6個推理步驟,並在回答前進行根本原因分析。但是,如果答案非常簡單,不需要太多思考,你可以留空<think></think>塊。
你的回覆應該詳細、使用豐富的Markdown格式進行結構化,並使用表情符號增加互動性。解釋要詳盡,就像最偉大的科學家一樣。除非問題很簡單,否則始終先推理問題,然後再回答。
嵌入/輸出權重
部分量化類型(如Q3_K_XL、Q4_K_L等)採用標準量化方法,將嵌入和輸出權重量化為Q8_0,而不是默認值。
ARM/AVX信息
以前,你會下載Q4_0_4_4/4_8/8_8,這些文件的權重會在內存中交錯排列,以便在ARM和AVX機器上通過一次加載更多數據來提高性能。
現在,有了所謂的權重“在線重新打包”功能,詳情見此PR。如果你使用Q4_0,並且你的硬件能從重新打包權重中受益,它會自動即時進行處理。
從llama.cpp構建版本b4282開始,你將無法運行Q4_0_X_X文件,而需要使用Q4_0。
此外,如果你想獲得稍好的質量,可以使用IQ4_NL,感謝此PR,它也會為ARM重新打包權重,不過目前僅支持4_4。加載時間可能會更長,但總體速度會提高。
點擊查看Q4_0_X_X信息(已棄用)
我保留這部分內容,以展示使用支持在線重新打包的Q4_0在性能上的潛在理論提升。
點擊查看AVX2系統(EPYC7702)上的基準測試
模型 | 大小 | 參數 | 後端 | 線程數 | 測試 | 每秒令牌數 | 與Q4_0相比的百分比 |
---|---|---|---|---|---|---|---|
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8在提示處理方面有顯著提升,在文本生成方面有小幅提升。
如何選擇文件
點擊查看詳情
Artefact2提供了一篇很棒的文章,帶有展示各種性能的圖表,可點擊查看。
首先,你需要確定可以運行的模型大小。為此,你需要了解自己有多少RAM和/或VRAM。
如果你希望模型運行得儘可能快,你需要將整個模型放入GPU的VRAM中。選擇文件大小比GPU總VRAM小1 - 2GB的量化文件。
如果你追求絕對最高質量,將系統RAM和GPU的VRAM相加,然後選擇文件大小比該總和小1 - 2GB的量化文件。
接下來,你需要決定是使用“I - 量化”還是“K - 量化”。
如果你不想考慮太多,選擇K - 量化文件。這些文件的格式為“QX_K_X”,如Q5_K_M。
如果你想深入瞭解,可以查看這個非常有用的功能圖表:
但基本上,如果你目標是低於Q4的量化,並且使用cuBLAS(Nvidia)或rocBLAS(AMD),你應該考慮I - 量化文件。這些文件的格式為IQX_X,如IQ3_M。它們是較新的格式,在相同大小下提供更好的性能。
這些I - 量化文件也可以在CPU和Apple Metal上使用,但比對應的K - 量化文件慢,因此你需要在速度和性能之間做出權衡。
I - 量化文件與Vulcan不兼容,Vulcan也是AMD的技術,所以如果你有AMD顯卡,請仔細檢查你使用的是rocBLAS版本還是Vulcan版本。在撰寫本文時,LM Studio有一個支持ROCm的預覽版,其他推理引擎也有針對ROCm的特定版本。
📄 許可證
文檔未提及相關許可證信息。
🔧 技術細節
本項目使用llama.cpp的發佈版本b4585進行量化。原始模型可在此處查看。所有量化文件均使用imatrix選項,並使用此處的數據集。
👏 致謝
感謝kalomaze和Dampf在創建imatrix校準數據集方面提供的幫助。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。 感謝LM Studio對本項目的贊助。
如果你想支持作者的工作,可以訪問作者的ko - fi頁面:https://ko-fi.com/bartowski



