Neurobert Mini GGUF

🚀 NeuroBERT-Mini量化模型

NeuroBERT-Mini量化模型基于boltuix/NeuroBERT-Mini基础模型，提供了多种量化版本，适用于低资源、边缘AI等场景，可用于自然语言处理任务，如意图检测、命令分类等。

🚀 快速开始

若你不确定如何使用GGUF文件，请参考TheBloke的README获取更多详情，包括如何拼接多部分文件。

✨ 主要特性

• 多标签支持：涵盖BERT、NeuroBERT、Transformer等多种标签，适用于多种自然语言处理场景。
• 量化版本：提供多种量化类型，可根据需求选择不同的量化版本。
• 低资源适用：适用于低资源环境，如边缘AI、物联网、可穿戴设备等。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

关于模型

本项目是对https://huggingface.co/boltuix/NeuroBERT-Mini的静态量化。目前，加权/矩阵量化似乎不可用。如果在静态量化版本发布大约一周后它们仍未出现，可能我并未计划提供。你可以通过开启社区讨论来请求获取。

提供的量化版本

（按大小排序，不一定按质量排序。IQ量化通常优于类似大小的非IQ量化）

以下是ikawrakow提供的比较一些低质量量化类型的图表（数值越低越好）：

此外，Artefact2对此事的看法可参考：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题解答 / 模型请求

若你有相关问题或希望对其他模型进行量化，请参考https://huggingface.co/mradermacher/model_requests获取答案。

🔧 技术细节

文档未提供具体技术细节，暂不展示。

📄 许可证

本项目采用MIT许可证。