Medra27b GGUF

🚀 Medra27B 量化模型

Medra27B 量化模型是基于 nicoboss/Medra27B 基础模型进行静态量化的成果，适用于文本生成、医疗人工智能、摘要生成、诊断推理等多个医疗相关领域。

基本信息

🚀 快速开始

关于

本项目提供了 https://huggingface.co/nicoboss/Medra27B 的静态量化版本。加权/矩阵量化文件可在 https://huggingface.co/mradermacher/Medra27B - i1 - GGUF 获取。

使用方法

如果您不确定如何使用 GGUF 文件，请参考 [TheBloke 的 README](https://huggingface.co/TheBloke/KafkaLM - 70B - German - V0.1 - GGUF) 以获取更多详细信息，包括如何拼接多部分文件。

💾 提供的量化版本

（按大小排序，不一定按质量排序。IQ 量化通常优于类似大小的非 IQ 量化）

以下是 ikawrakow 制作的一个比较一些低质量量化类型的实用图表（值越低越好）：

此外，您可以参考 Artefact2 关于此问题的观点：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

❓ 常见问题 / 模型请求

如果您有任何问题，或者希望对其他模型进行量化，请访问 https://huggingface.co/mradermacher/model_requests 获取相关解答。

🙏 致谢

感谢我的公司 nethype GmbH 让我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的矩阵量化文件。

📄 许可证

本项目采用 apache - 2.0 许可证。