Longwriter Zero 32B I1 GGUF

🚀 LongWriter-Zero-32B 量化模型

LongWriter-Zero-32B 量化模型基于 THU-KEG/LongWriter-Zero-32B 基础模型，支持中英双语，适用于强化学习、写作等长上下文场景。本项目提供了多种量化版本的模型文件，方便不同需求的用户使用。

🚀 快速开始

若你不确定如何使用 GGUF 文件，可参考 TheBloke 的 README 获取更多详情，其中包括如何拼接多部分文件。

✨ 主要特性

• 多语言支持：支持英文和中文两种语言。
• 多量化版本：提供多种不同大小和质量的量化版本供选择。
• 长上下文处理：适用于长上下文的强化学习和写作任务。

📦 安装指南

文档未提供具体安装步骤，可参考上述快速开始部分的使用说明。

📚 详细文档

模型信息

量化模型说明

加权/imatrix 量化模型基于 https://huggingface.co/THU-KEG/LongWriter-Zero-32B。静态量化模型可在 https://huggingface.co/mradermacher/LongWriter-Zero-32B-GGUF 获取。

提供的量化模型

（按大小排序，不一定代表质量。IQ 量化通常优于类似大小的非 IQ 量化）

ikawrakow 提供了一个方便的图表，用于比较一些低质量量化类型（数值越低越好）：

此外，Artefact2 对此也有相关见解：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题与模型请求

若你有相关问题或希望对其他模型进行量化，可查看 https://huggingface.co/mradermacher/model_requests 获取答案。

📄 许可证

本项目采用 apache-2.0 许可证。

🙏 致谢

感谢我的公司 nethype GmbH 允许我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的 imatrix 量化模型。