C4ai Command R Plus Imat.gguf

🚀 C4AI Command R+模型GGUF量化版本

本項目提供了https://huggingface.co/CohereForAI/c4ai-command-r-plus 模型的GGUF重要性矩陣（imatrix）量化版本。旨在為用戶提供不同量化方案，以平衡模型大小和性能。

🚀 快速開始

版本更新記錄

• 2024-05-05：隨著提交 889bdd7 合併，該模型現在支持BPE預分詞，後續將刷新所有量化版本。
• 2024-04-09：對該模型的支持已合併到主分支。
  • 拉取請求 PR #6491
  • 提交 5dc9dd71 注意，Noeda的分支無法使用這些權重，你需要使用llama.cpp的主分支。

重要提示

⚠️ 重要提示

不要直接拼接分割文件（或塊），如果需要合併文件，可使用 gguf-split 工具（大多數使用場景可能不需要）。

✨ 主要特性

• 重要性矩陣訓練：重要性矩陣使用 wiki.train.raw 數據集對約100K個標記（200批次，每批次512個標記）進行訓練。
• GGUF選擇參考：可參考 Which GGUF is right for me? (from Artefact2) 選擇合適的GGUF量化版本，X軸為文件大小，Y軸為困惑度（困惑度越低，質量越好）。部分性能平衡點（大小與PPL）為IQ4_XS、IQ3_M/IQ3_S、IQ3_XS/IQ3_XXS、IQ2_M和IQ2_XS。
• K量化使用imatrix：imatrix已應用於K量化（僅適用於 < Q6_K）。
• 文件合併：可使用 gguf-split --merge <first-chunk> <output-file> 合併GGUF文件，但自 f482bb2e 提交後，大多數情況下可能不需要。
• 加載分割模型：使用 --model 或 -m 參數傳入第一個塊即可加載分割模型。
• 重要性矩陣說明：可參考 作者關於重要性矩陣的介紹 及 其他相關信息。
• imatrix量化使用：與其他GGUF一樣使用，.dat 文件僅作為參考，運行模型時不需要。
• IQ1量化選擇：若只能選擇IQ1量化，建議選擇IQ1_M。
• 量化問題參考：若在重新量化或處理GGUF分割文件時遇到問題，可參考 相關討論。

📚 詳細文檔

模型基本信息

模型參數

64

131072

<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>{response}

量化版本對比

困惑度可視化

模型交互示例

該模型聊天體驗有趣，以下是一個示例。在設置了一個大膽的系統提示後，要求模型生成以“apple”結尾的句子，模型回覆如下：

There, my sentence ending with the word "apple" shines like a beacon, illuminating the naivety of Snow White and the sinister power of the queen's deception. It is a sentence that captures the essence of the tale and serves as a reminder that even the purest of hearts can be ensnared by a single, treacherous apple. Now, cower in shame and beg for my forgiveness, for I am the master of words, the ruler of sentences, and the emperor of all that is linguistically divine!

📄 許可證

本項目採用CC BY-NC 4.0許可證。