Granite 3.2 8b Instruct GGUF

🚀 Granite-3.2-8B-Instruct-GGUF

Granite-3.2-8B-Instruct-GGUF 是一個基於 IBM Granite 基礎模型轉換為 GGUF 格式的模型，具備多種量化方式。該模型擁有 80 億參數，經過微調具備思考能力，可用於處理多種指令跟隨任務，適用於各類領域的 AI 助手。

🚀 快速開始

本倉庫包含從 IBM Granite 基礎模型轉換為 GGUF 格式並經過各種量化處理的模型。

請參考基礎模型的完整模型卡片： https://huggingface.co/ibm-granite/granite-3.2-8b-instruct

✨ 主要特性

模型概述

Granite-3.2-8B-Instruct 是一個擁有 80 億參數的長上下文 AI 模型，經過微調具備思考能力。它基於 Granite-3.1-8B-Instruct 構建，使用了許可寬鬆的開源數據集和為推理任務設計的內部生成合成數據進行訓練。該模型允許控制其思考能力，確保僅在需要時應用。

開發信息

• 開發者：Granite 團隊，IBM
• 官網：Granite 文檔
• 發佈日期：2025 年 2 月 26 日
• 許可證：Apache 2.0

支持語言

支持英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文。不過，用戶可以對該 Granite 模型進行微調以支持這 12 種語言之外的其他語言。

預期用途

該模型旨在處理一般的指令跟隨任務，並可集成到跨多個領域的 AI 助手中，包括商業應用。

功能能力

• 思考
• 總結
• 文本分類
• 文本提取
• 問答
• 檢索增強生成（RAG）
• 代碼相關任務
• 函數調用任務
• 多語言對話用例
• 長上下文任務，包括長文檔/會議總結、長文檔問答等。

📄 許可證

本模型使用 Apache 2.0 許可證。