M

Mistral Small 24B Instruct 2501 GGUF

由MaziyarPanahi開發
Mistral-Small-24B-Instruct-2501的GGUF量化版本,適用於本地部署和文本生成任務。
下載量 474.73k
發布時間 : 1/30/2025

模型概述

該模型是Mistral-Small-24B-Instruct-2501的GGUF格式版本,支持多種量化級別(2-8比特),專為文本生成任務優化。

模型特點

多級量化支持
提供從2比特到8比特的多種量化級別,適應不同硬件需求。
GGUF格式兼容性
採用最新的GGUF格式,兼容多種主流推理工具和庫。
本地部署優化
專為本地部署設計,支持多種客戶端和庫的GPU加速。

模型能力

文本生成
指令跟隨

使用案例

本地AI應用
本地聊天機器人
部署在個人電腦上的聊天機器人應用。
提供流暢的對話體驗
文本創作輔助
用於輔助寫作和內容生成。
幫助快速生成高質量文本
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase