🚀 超高质量重制版:Psyonic - Cetacean 20b - Imatrix Plus 2
这是一款令人惊叹的超高质量重制版模型,专注于提升文本生成的精度和性能。它通过将所有组件和合并操作升级到浮点32位,显著减少了模型在处理过程中的损失,从而在困惑度指标上取得了显著的提升。
🚀 快速开始
本仓库包含了新的Imatrix Plus 2量化版本,它使用了内部新数据集与主数据集合并,进一步提升了超高质量重制版的性能。
✨ 主要特性
- 浮点32位升级:所有组件和合并操作都重制为浮点32位,包括所有合并(使用主文件重新创建),并尽可能替换为完整的FP32模型。
- 高精度保留:在模型处理的每个步骤中都尽可能保留最大精度,直至“GUFF”处理阶段。
- 性能显著提升:在不同量化级别下,困惑度均有显著下降,如Q2K下降533点、Q4KM下降976点、Q6下降234点等。
- 多样化应用设置:适用于聊天、角色扮演等场景,可通过调整“平滑因子”等参数优化模型运行效果。
📦 安装指南
暂未提及具体安装步骤,可参考模型源版本及配置文件:[https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)
💻 使用示例
基础用法
在“KoboldCpp”、“oobabooga/text - generation - webui”或“Silly Tavern”中使用该模型时,可按以下设置优化性能:
在“KoboldCpp”或 “oobabooga/text - generation - webui”或“Silly Tavern”中;
将“Smoothing_factor”设置为1.5到2.5
- 在KoboldCpp -> Settings -> Samplers -> Advanced -> "Smooth_F"
- 在text - generation - webui -> parameters -> 右下角
- 在Silly Tavern中此设置称为:“Smoothing”
高级用法
注意:对于“text - generation - webui”,如果使用GGUFs,需要使用“llama_HF”(这涉及从该模型的源版本下载一些配置文件)。
其他选项:
- 将重复惩罚提高到1.1到1.15(如果使用“smoothing_factor”则无需此操作)
- 如果运行AI模型的界面/程序支持“二次采样”(“平滑”),按说明进行调整
📚 详细文档
关于该模型的所有设置(包括其“类别”的具体设置)、示例生成以及高级设置指南(通常可解决任何模型问题),包括针对所有用例(如聊天、角色扮演等)提高模型性能的方法,请参考:[https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)
🔧 技术细节
本模型的核心在于将所有组件和合并操作升级到浮点32位,以减少模型在处理过程中的损失。由于F32与BF16之间的差异超过8位小数,且每次合并/模型修改都会产生“损失”,这些损失会累积并影响模型性能。通过采用浮点32位升级,在不同量化级别下,困惑度均有显著下降,证明了该方法的有效性。
📄 许可证
本项目采用Apache 2.0许可证。
模型信息表格
属性 |
详情 |
模型类型 |
文本生成 |
训练数据 |
使用内部新数据集与主数据集合并 |
常用提示信息
⚠️ 重要提示
对于“text - generation - webui”,如果使用GGUFs,需要使用“llama_HF”(这涉及从该模型的源版本下载一些配置文件)。
💡 使用建议
- 可将“Smoothing_factor”设置为1.5到2.5以优化模型运行效果。
- 若使用“smoothing_factor”,则无需将重复惩罚提高到1.1到1.15。
- 如果运行AI模型的界面/程序支持“二次采样”(“平滑”),按说明进行调整。