Granite 3.2 8b Instruct GGUF

🚀 Granite-3.2-8B-Instruct-GGUF

Granite-3.2-8B-Instruct-GGUF 是一个基于 IBM Granite 基础模型转换为 GGUF 格式的模型，具备多种量化方式。该模型拥有 80 亿参数，经过微调具备思考能力，可用于处理多种指令跟随任务，适用于各类领域的 AI 助手。

🚀 快速开始

本仓库包含从 IBM Granite 基础模型转换为 GGUF 格式并经过各种量化处理的模型。

请参考基础模型的完整模型卡片： https://huggingface.co/ibm-granite/granite-3.2-8b-instruct

✨ 主要特性

模型概述

Granite-3.2-8B-Instruct 是一个拥有 80 亿参数的长上下文 AI 模型，经过微调具备思考能力。它基于 Granite-3.1-8B-Instruct 构建，使用了许可宽松的开源数据集和为推理任务设计的内部生成合成数据进行训练。该模型允许控制其思考能力，确保仅在需要时应用。

开发信息

• 开发者：Granite 团队，IBM
• 官网：Granite 文档
• 发布日期：2025 年 2 月 26 日
• 许可证：Apache 2.0

支持语言

支持英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。不过，用户可以对该 Granite 模型进行微调以支持这 12 种语言之外的其他语言。

预期用途

该模型旨在处理一般的指令跟随任务，并可集成到跨多个领域的 AI 助手中，包括商业应用。

功能能力

• 思考
• 总结
• 文本分类
• 文本提取
• 问答
• 检索增强生成（RAG）
• 代码相关任务
• 函数调用任务
• 多语言对话用例
• 长上下文任务，包括长文档/会议总结、长文档问答等。

📄 许可证

本模型使用 Apache 2.0 许可证。