Opencerebrum 1.0 7b SFT GGUF

🚀 OpenCerebrum-1.0-7b-SFT量化模型

本项目提供了Locutusque/OpenCerebrum-1.0-7b-SFT模型的静态量化版本，使用了多种数据集进行训练，适用于代码、数学、化学、生物等多个领域的文本生成和问答任务。

📚 详细文档

模型信息

关于模型

本项目是对 Locutusque/OpenCerebrum-1.0-7b-SFT 模型的静态量化。加权/矩阵量化版本可在 此处 获取。

使用方法

如果您不确定如何使用GGUF文件，请参考 TheBloke的README 以获取更多详细信息，包括如何拼接多部分文件。

提供的量化版本

（按大小排序，不一定按质量排序。IQ量化通常比类似大小的非IQ量化更可取）

以下是ikawrakow制作的一个方便的图表，比较了一些低质量量化类型（值越低越好）：

此外，Artefact2对此事的看法可参考：链接

常见问题解答 / 模型请求

有关您可能遇到的问题的答案，以及如果您希望对其他模型进行量化，请参考 此处。

📄 许可证

本项目采用 apache-2.0 许可证。

🙏 致谢

感谢我的公司 nethype GmbH 允许我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的矩阵量化版本。