🚀 超高質量重製:Psyonic - Cetacean - 20b - Imatrix Plus
這是一款令人驚歎的超高畫質重製版模型。它專注於文本生成,適用於創意寫作、故事創作、角色扮演等多個領域。本重製版將所有組件和合並模型都升級為32位浮點型,旨在最大程度地提升模型精度,從而顯著提高模型的性能和輸出質量。
🎯 核心特性
- 32位浮點升級:所有組件和合並模型均重製為32位浮點型,包括所有合併模型(使用主文件重新創建),並儘可能替換為完整的FP32模型,甚至為GGUF提供了F32主文件,文件大小達78GB。
- 高精度優勢:F32與BF16的差異超過8位小數,在模型修改過程中能減少“損失”的累積,而小數點對模型性能至關重要。
- 性能顯著提升:在不同量化級別下,困惑度大幅下降,如Q2K下降533點、Q4KM下降976點、Q6下降234點。Q6的表現甚至超過原全精度版本,Q4KM接近Q6的質量水平。
- 功能全面增強:指令遵循能力顯著提高,出現新能力,原模型已知問題消失,散文、細微差別和深度都有所提升。
📦 安裝指南
暫未提供相關安裝步驟信息。
💻 使用示例
暫未提供相關代碼示例信息。
📚 詳細文檔
模型設置
在“KoboldCpp”、“oobabooga/text - generation - webui”或“Silly Tavern”中使用該模型時,若要進行聊天、角色扮演或實現更流暢的操作,可進行如下設置:
- 平滑因子設置:將“Smoothing_factor”設置為1.5至2.5。
- 在KoboldCpp中:Settings -> Samplers -> Advanced -> “Smooth_F”。
- 在text - generation - webui中:parameters -> 右下角。
- 在Silly Tavern中:該設置稱為“Smoothing”。
- 注意事項:在text - generation - webui中使用GGUFs時,需要使用“llama_HF”(需從該模型的源版本下載一些配置文件)。模型的源版本(和配置文件)可在[此處](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)獲取。
其他選項
- 增加重複懲罰:將重複懲罰(rep pen)增加到1.1至1.15(若使用“smoothing_factor”則無需此操作)。
- 二次採樣調整:若運行AI模型的界面/程序支持“Quadratic Sampling”(“smoothing”),按說明進行調整即可。
高質量設置與操作指南
該模型屬於“Class 2”模型。有關該模型的所有設置(包括其“類別”的具體設置)、示例生成以及高級設置指南(通常可解決任何模型問題),包括提高所有用例(如聊天、角色扮演等)模型性能的方法,請參考[此處](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)。
🔧 技術細節
本重製版的目標是在模型“ggufing”之前的每一步都確保最大精度,所採用的方法僅確保將精度損失最小化或消除,具有數學和理論上的合理性。通過在每個步驟中保持最大精度,減少了模型修改過程中的“損失”累積,從而提高了模型的整體性能。
📄 許可證
本模型採用Apache - 2.0許可證。
🔍 模型效果展示

👏 致謝
感謝“Psyonic - Cetacean 20B”的原作者Jeb Carter。原模型鏈接:[https://huggingface.co/jebcarter/psyonic - cetacean - 20B](https://huggingface.co/jebcarter/psyonic - cetacean - 20B)。
🚀 未來計劃
- 後續將推出“reg quant plus”倉庫,在GGUF(所有級別)中添加額外組件,以進一步提高創造力和AI性能,預計可再降低50 - 100點困惑度。
- 隨後將推出全32位浮點精度的Imatrix版本(包括常規量化的“imatrixed”版本)。待測試結果出來後,將發佈與原模型和“超常規量化”的對比結果。同時,將盡快發佈製作這些高精度重製版所採用的所有方法(以及需避免的陷阱)的詳細信息,以及原模型與新超高清重製版的對比情況。