Psyonic Cetacean Ultra Quality 20b GGUF Imat Plus2

🚀 超高質量重製版：Psyonic - Cetacean 20b - Imatrix Plus 2

這是一款令人驚歎的超高質量重製版模型，專注於提升文本生成的精度和性能。它通過將所有組件和合並操作升級到浮點32位，顯著減少了模型在處理過程中的損失，從而在困惑度指標上取得了顯著的提升。

🚀 快速開始

本倉庫包含了新的Imatrix Plus 2量化版本，它使用了內部新數據集與主數據集合並，進一步提升了超高質量重製版的性能。

✨ 主要特性

• 浮點32位升級：所有組件和合並操作都重製為浮點32位，包括所有合併（使用主文件重新創建），並儘可能替換為完整的FP32模型。
• 高精度保留：在模型處理的每個步驟中都儘可能保留最大精度，直至“GUFF”處理階段。
• 性能顯著提升：在不同量化級別下，困惑度均有顯著下降，如Q2K下降533點、Q4KM下降976點、Q6下降234點等。
• 多樣化應用設置：適用於聊天、角色扮演等場景，可通過調整“平滑因子”等參數優化模型運行效果。

📦 安裝指南

暫未提及具體安裝步驟，可參考模型源版本及配置文件：[https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)

💻 使用示例

基礎用法

在“KoboldCpp”、“oobabooga/text - generation - webui”或“Silly Tavern”中使用該模型時，可按以下設置優化性能：

在“KoboldCpp”或  “oobabooga/text - generation - webui”或“Silly Tavern”中；
將“Smoothing_factor”設置為1.5到2.5 
- 在KoboldCpp -> Settings -> Samplers -> Advanced -> "Smooth_F"
- 在text - generation - webui -> parameters -> 右下角
- 在Silly Tavern中此設置稱為：“Smoothing”

高級用法

注意：對於“text - generation - webui”，如果使用GGUFs，需要使用“llama_HF”（這涉及從該模型的源版本下載一些配置文件）。
其他選項：
- 將重複懲罰提高到1.1到1.15（如果使用“smoothing_factor”則無需此操作）
- 如果運行AI模型的界面/程序支持“二次採樣”（“平滑”），按說明進行調整

📚 詳細文檔

關於該模型的所有設置（包括其“類別”的具體設置）、示例生成以及高級設置指南（通常可解決任何模型問題），包括針對所有用例（如聊天、角色扮演等）提高模型性能的方法，請參考：[https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)

🔧 技術細節

本模型的核心在於將所有組件和合並操作升級到浮點32位，以減少模型在處理過程中的損失。由於F32與BF16之間的差異超過8位小數，且每次合併/模型修改都會產生“損失”，這些損失會累積並影響模型性能。通過採用浮點32位升級，在不同量化級別下，困惑度均有顯著下降，證明了該方法的有效性。

📄 許可證

本項目採用Apache 2.0許可證。

模型信息表格

常用提示信息

⚠️ 重要提示

對於“text - generation - webui”，如果使用GGUFs，需要使用“llama_HF”（這涉及從該模型的源版本下載一些配置文件）。

💡 使用建議

• 可將“Smoothing_factor”設置為1.5到2.5以優化模型運行效果。
• 若使用“smoothing_factor”，則無需將重複懲罰提高到1.1到1.15。
• 如果運行AI模型的界面/程序支持“二次採樣”（“平滑”），按說明進行調整。