Granite 3.2 2b Instruct GGUF

🚀 Granite-3.2-2B-Instruct-GGUF

本項目包含從IBM Granite基礎模型轉換為GGUF格式並進行了各種量化處理的模型，可用於文本生成，支持多語言的指令跟隨任務，適用於多種領域的AI助手。

🚀 快速開始

此倉庫包含已從IBM Granite基礎模型轉換為具有各種量化的GGUF格式的模型。

請參考基礎模型的完整模型卡片： https://huggingface.co/ibm-granite/granite-3.2-2b-instruct

✨ 主要特性

模型概述

Granite-3.2-2B-Instruct是一個具有20億參數的長上下文AI模型，針對思維能力進行了微調。它基於Granite-3.1-2B-Instruct構建，使用了許可寬鬆的開源數據集和為推理任務設計的內部生成合成數據進行訓練。該模型允許對其思維能力進行控制，確保僅在需要時應用。

支持語言

支持英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文。不過，用戶可以針對這12種語言之外的其他語言對該Granite模型進行微調。

預期用途

此模型旨在處理一般的指令跟隨任務，並且可以集成到包括商業應用在內的各個領域的AI助手中。

功能能力

• 思維能力
• 文本摘要
• 文本分類
• 文本提取
• 問答系統
• 檢索增強生成（RAG）
• 代碼相關任務
• 函數調用任務
• 多語言對話用例
• 長上下文任務，包括長文檔/會議摘要、長文檔問答等。

📄 許可證

本項目採用Apache 2.0許可證。

模型信息

⚠️ 重要提示

本倉庫包含從IBM Granite基礎模型轉換為GGUF格式並進行各種量化處理的模型，請參考基礎模型完整卡片：https://huggingface.co/ibm-granite/granite-3.2-2b-instruct

💡 使用建議

該模型可用於一般指令跟隨任務，可集成到各領域AI助手，用戶還能針對更多語言微調模型。