Psyonic Cetacean Ultra Quality 20b GGUF Imatrix

🚀 超高质量重制：Psyonic - Cetacean - 20b - Imatrix Plus

这是一款令人惊叹的超高画质重制版模型。它专注于文本生成，适用于创意写作、故事创作、角色扮演等多个领域。本重制版将所有组件和合并模型都升级为32位浮点型，旨在最大程度地提升模型精度，从而显著提高模型的性能和输出质量。

🎯 核心特性

• 32位浮点升级：所有组件和合并模型均重制为32位浮点型，包括所有合并模型（使用主文件重新创建），并尽可能替换为完整的FP32模型，甚至为GGUF提供了F32主文件，文件大小达78GB。
• 高精度优势：F32与BF16的差异超过8位小数，在模型修改过程中能减少“损失”的累积，而小数点对模型性能至关重要。
• 性能显著提升：在不同量化级别下，困惑度大幅下降，如Q2K下降533点、Q4KM下降976点、Q6下降234点。Q6的表现甚至超过原全精度版本，Q4KM接近Q6的质量水平。
• 功能全面增强：指令遵循能力显著提高，出现新能力，原模型已知问题消失，散文、细微差别和深度都有所提升。

📦 安装指南

暂未提供相关安装步骤信息。

💻 使用示例

暂未提供相关代码示例信息。

📚 详细文档

模型设置

在“KoboldCpp”、“oobabooga/text - generation - webui”或“Silly Tavern”中使用该模型时，若要进行聊天、角色扮演或实现更流畅的操作，可进行如下设置：

• 平滑因子设置：将“Smoothing_factor”设置为1.5至2.5。
  • 在KoboldCpp中：Settings -> Samplers -> Advanced -> “Smooth_F”。
  • 在text - generation - webui中：parameters -> 右下角。
  • 在Silly Tavern中：该设置称为“Smoothing”。
• 注意事项：在text - generation - webui中使用GGUFs时，需要使用“llama_HF”（需从该模型的源版本下载一些配置文件）。模型的源版本（和配置文件）可在[此处](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)获取。

其他选项

• 增加重复惩罚：将重复惩罚（rep pen）增加到1.1至1.15（若使用“smoothing_factor”则无需此操作）。
• 二次采样调整：若运行AI模型的界面/程序支持“Quadratic Sampling”（“smoothing”），按说明进行调整即可。

高质量设置与操作指南

该模型属于“Class 2”模型。有关该模型的所有设置（包括其“类别”的具体设置）、示例生成以及高级设置指南（通常可解决任何模型问题），包括提高所有用例（如聊天、角色扮演等）模型性能的方法，请参考[此处](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)。

🔧 技术细节

本重制版的目标是在模型“ggufing”之前的每一步都确保最大精度，所采用的方法仅确保将精度损失最小化或消除，具有数学和理论上的合理性。通过在每个步骤中保持最大精度，减少了模型修改过程中的“损失”累积，从而提高了模型的整体性能。

📄 许可证

本模型采用Apache - 2.0许可证。

🔍 模型效果展示


👏 致谢

感谢“Psyonic - Cetacean 20B”的原作者Jeb Carter。原模型链接：[https://huggingface.co/jebcarter/psyonic - cetacean - 20B](https://huggingface.co/jebcarter/psyonic - cetacean - 20B)。

🚀 未来计划

• 后续将推出“reg quant plus”仓库，在GGUF（所有级别）中添加额外组件，以进一步提高创造力和AI性能，预计可再降低50 - 100点困惑度。
• 随后将推出全32位浮点精度的Imatrix版本（包括常规量化的“imatrixed”版本）。待测试结果出来后，将发布与原模型和“超常规量化”的对比结果。同时，将尽快发布制作这些高精度重制版所采用的所有方法（以及需避免的陷阱）的详细信息，以及原模型与新超高清重制版的对比情况。