Psyonic Cetacean Ultra Quality 20b GGUF Imat Plus2

🚀 超高质量重制版：Psyonic - Cetacean 20b - Imatrix Plus 2

这是一款令人惊叹的超高质量重制版模型，专注于提升文本生成的精度和性能。它通过将所有组件和合并操作升级到浮点32位，显著减少了模型在处理过程中的损失，从而在困惑度指标上取得了显著的提升。

🚀 快速开始

本仓库包含了新的Imatrix Plus 2量化版本，它使用了内部新数据集与主数据集合并，进一步提升了超高质量重制版的性能。

✨ 主要特性

• 浮点32位升级：所有组件和合并操作都重制为浮点32位，包括所有合并（使用主文件重新创建），并尽可能替换为完整的FP32模型。
• 高精度保留：在模型处理的每个步骤中都尽可能保留最大精度，直至“GUFF”处理阶段。
• 性能显著提升：在不同量化级别下，困惑度均有显著下降，如Q2K下降533点、Q4KM下降976点、Q6下降234点等。
• 多样化应用设置：适用于聊天、角色扮演等场景，可通过调整“平滑因子”等参数优化模型运行效果。

📦 安装指南

暂未提及具体安装步骤，可参考模型源版本及配置文件：[https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)

💻 使用示例

基础用法

在“KoboldCpp”、“oobabooga/text - generation - webui”或“Silly Tavern”中使用该模型时，可按以下设置优化性能：

在“KoboldCpp”或  “oobabooga/text - generation - webui”或“Silly Tavern”中；
将“Smoothing_factor”设置为1.5到2.5 
- 在KoboldCpp -> Settings -> Samplers -> Advanced -> "Smooth_F"
- 在text - generation - webui -> parameters -> 右下角
- 在Silly Tavern中此设置称为：“Smoothing”

高级用法

注意：对于“text - generation - webui”，如果使用GGUFs，需要使用“llama_HF”（这涉及从该模型的源版本下载一些配置文件）。
其他选项：
- 将重复惩罚提高到1.1到1.15（如果使用“smoothing_factor”则无需此操作）
- 如果运行AI模型的界面/程序支持“二次采样”（“平滑”），按说明进行调整

📚 详细文档

关于该模型的所有设置（包括其“类别”的具体设置）、示例生成以及高级设置指南（通常可解决任何模型问题），包括针对所有用例（如聊天、角色扮演等）提高模型性能的方法，请参考：[https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)

🔧 技术细节

本模型的核心在于将所有组件和合并操作升级到浮点32位，以减少模型在处理过程中的损失。由于F32与BF16之间的差异超过8位小数，且每次合并/模型修改都会产生“损失”，这些损失会累积并影响模型性能。通过采用浮点32位升级，在不同量化级别下，困惑度均有显著下降，证明了该方法的有效性。

📄 许可证

本项目采用Apache 2.0许可证。

模型信息表格

常用提示信息

⚠️ 重要提示

对于“text - generation - webui”，如果使用GGUFs，需要使用“llama_HF”（这涉及从该模型的源版本下载一些配置文件）。

💡 使用建议

• 可将“Smoothing_factor”设置为1.5到2.5以优化模型运行效果。
• 若使用“smoothing_factor”，则无需将重复惩罚提高到1.1到1.15。
• 如果运行AI模型的界面/程序支持“二次采样”（“平滑”），按说明进行调整。