Mistral-7B-Instruct-v0.3-GGUF开源大模型 - 支持函数调用与扩展词汇表

首页

Mistral 7B Instruct V0.3 GGUF

由 SanctumAI 开发

Mistral-7B-Instruct-v0.3 是基于 Mistral-7B-v0.3 进行指令微调的大型语言模型，支持函数调用和扩展词汇表。

大型语言模型开源协议:Apache-2.0 #指令微调 #函数调用支持 #32k长上下文

下载量 34.61k

发布时间 : 5/23/2024

模型简介

该模型是 Mistral-7B-v0.3 的指令微调版本，适用于文本生成任务，特别优化了指令跟随和函数调用能力。

模型特点

扩展词汇表

词汇表扩展至 32768，支持更丰富的语言表达。

函数调用支持

新增对函数调用的支持，增强了模型的实用性。

v3 分词器

支持 v3 分词器，提高了文本处理的效率和质量。

多量化版本

提供从 Q2_K 到 f16 的多种量化版本，适应不同硬件需求。

模型能力

文本生成

指令跟随

函数调用

使用案例

对话系统

智能助手

可用于构建能够理解复杂指令的智能对话助手。

开发工具

代码辅助

支持函数调用特性，可用于开发环境中的代码补全和生成。

🚀 Mistral 7B Instruct v0.3 GGUF

该模型由 SanctumAI 进行量化。若要留下反馈，请加入我们在 Discord 的社区。

image/png

🚀 快速开始

本项目是 Mistral 7B Instruct v0.3 的 GGUF 量化版本，为用户提供了在不同硬件条件下使用该大语言模型的可能。下面为你详细介绍该模型的相关信息。

✨ 主要特性

模型微调：Mistral-7B-Instruct-v0.3 是 Mistral-7B-v0.3 的指令微调版本。
词汇扩展：相较于 Mistral-7B-v0.2，其词汇表扩展到了 32768。
功能支持：支持 v3 分词器和函数调用。

📚 详细文档

模型信息

属性	详情
模型创建者	mistralai
原始模型	Mistral-7B-Instruct-v0.3
模型类型	大语言模型（LLM）
许可证	Apache-2.0

提示模板

如果你使用的是 Sanctum 应用程序，只需使用 Mistral 模型预设即可。提示模板如下：

<s>[INST] {prompt} [/INST]

硬件要求估算

名称	量化方法	大小	所需内存（RAM, vRAM，32k 令牌完整上下文）
mistral-7b-instruct-v0.3.Q2_K.gguf	Q2_K	2.72 GB	6.78 GB
mistral-7b-instruct-v0.3.Q3_K_S.gguf	Q3_K_S	3.17 GB	7.19 GB
mistral-7b-instruct-v0.3.Q3_K_M.gguf	Q3_K_M	3.52 GB	7.52 GB
mistral-7b-instruct-v0.3.Q3_K_L.gguf	Q3_K_L	3.83 GB	7.80 GB
mistral-7b-instruct-v0.3.Q4_0.gguf	Q4_0	4.11 GB	8.07 GB
mistral-7b-instruct-v0.3.Q4_K_S.gguf	Q4_K_S	4.14 GB	8.10 GB
mistral-7b-instruct-v0.3.Q4_K_M.gguf	Q4_K_M	4.37 GB	8.31 GB
mistral-7b-instruct-v0.3.Q4_K.gguf	Q4_K	4.37 GB	8.31 GB
mistral-7b-instruct-v0.3.Q4_1.gguf	Q4_1	4.56 GB	8.48 GB
mistral-7b-instruct-v0.3.Q5_0.gguf	Q5_0	5.00 GB	8.90 GB
mistral-7b-instruct-v0.3.Q5_K_S.gguf	Q5_K_S	5.00 GB	8.90 GB
mistral-7b-instruct-v0.3.Q5_K_M.gguf	Q5_K_M	5.14 GB	9.02 GB
mistral-7b-instruct-v0.3.Q5_K.gguf	Q5_K	5.14 GB	9.02 GB
mistral-7b-instruct-v0.3.Q5_1.gguf	Q5_1	5.45 GB	9.31 GB
mistral-7b-instruct-v0.3.Q6_K.gguf	Q6_K	5.95 GB	9.78 GB
mistral-7b-instruct-v0.3.Q8_0.gguf	Q8_0	7.70 GB	11.41 GB
mistral-7b-instruct-v0.3.f16.gguf	f16	14.50 GB	17.74 GB

⚠️ 免责声明

Sanctum 并非 Sanctum 应用程序“模型”部分所展示的任何模型的创建者、发起者或所有者。每个模型均由第三方创建和提供。Sanctum 不认可、支持、代表或保证其中所列任何模型的完整性、真实性、准确性或可靠性。你应明白，受支持的模型可能会生成具有冒犯性、有害、不准确或其他不当、欺骗性的内容。每个模型的唯一责任方是发起该模型的个人或实体。Sanctum 可能不会监控或控制受支持的模型，并且不能也不会对任何此类模型负责。Sanctum 不承担关于模型的准确性、可靠性或益处的所有保证或担保。此外，Sanctum 不保证模型将满足你的要求、安全、不间断或在任何时间或地点可用，或无错误、无病毒，或任何错误将得到纠正等。你将对因使用或访问模型、下载任何模型或使用 Sanctum 提供或通过 Sanctum 提供的任何其他模型而导致的任何损害承担全部责任。