Mistral-7B-Instruct-v0.3-GGUF開源大模型 - 支持函數調用與擴展詞彙表

首頁

Mistral 7B Instruct V0.3 GGUF

由SanctumAI開發

Mistral-7B-Instruct-v0.3 是基於 Mistral-7B-v0.3 進行指令微調的大型語言模型，支持函數調用和擴展詞彙表。

大型語言模型開源協議:Apache-2.0 #指令微調 #函數調用支持 #32k長上下文

下載量 34.61k

發布時間 : 5/23/2024

模型概述

該模型是 Mistral-7B-v0.3 的指令微調版本，適用於文本生成任務，特別優化了指令跟隨和函數調用能力。

模型特點

擴展詞彙表

詞彙表擴展至 32768，支持更豐富的語言表達。

函數調用支持

新增對函數調用的支持，增強了模型的實用性。

v3 分詞器

支持 v3 分詞器，提高了文本處理的效率和質量。

多量化版本

提供從 Q2_K 到 f16 的多種量化版本，適應不同硬件需求。

模型能力

文本生成

指令跟隨

函數調用

使用案例

對話系統

智能助手

可用於構建能夠理解複雜指令的智能對話助手。

開發工具

代碼輔助

支持函數調用特性，可用於開發環境中的代碼補全和生成。

🚀 Mistral 7B Instruct v0.3 GGUF

該模型由 SanctumAI 進行量化。若要留下反饋，請加入我們在 Discord 的社區。

image/png

🚀 快速開始

本項目是 Mistral 7B Instruct v0.3 的 GGUF 量化版本，為用戶提供了在不同硬件條件下使用該大語言模型的可能。下面為你詳細介紹該模型的相關信息。

✨ 主要特性

模型微調：Mistral-7B-Instruct-v0.3 是 Mistral-7B-v0.3 的指令微調版本。
詞彙擴展：相較於 Mistral-7B-v0.2，其詞彙表擴展到了 32768。
功能支持：支持 v3 分詞器和函數調用。

📚 詳細文檔

模型信息

屬性	詳情
模型創建者	mistralai
原始模型	Mistral-7B-Instruct-v0.3
模型類型	大語言模型（LLM）
許可證	Apache-2.0

提示模板

如果你使用的是 Sanctum 應用程序，只需使用 Mistral 模型預設即可。提示模板如下：

<s>[INST] {prompt} [/INST]

硬件要求估算

名稱	量化方法	大小	所需內存（RAM, vRAM，32k 令牌完整上下文）
mistral-7b-instruct-v0.3.Q2_K.gguf	Q2_K	2.72 GB	6.78 GB
mistral-7b-instruct-v0.3.Q3_K_S.gguf	Q3_K_S	3.17 GB	7.19 GB
mistral-7b-instruct-v0.3.Q3_K_M.gguf	Q3_K_M	3.52 GB	7.52 GB
mistral-7b-instruct-v0.3.Q3_K_L.gguf	Q3_K_L	3.83 GB	7.80 GB
mistral-7b-instruct-v0.3.Q4_0.gguf	Q4_0	4.11 GB	8.07 GB
mistral-7b-instruct-v0.3.Q4_K_S.gguf	Q4_K_S	4.14 GB	8.10 GB
mistral-7b-instruct-v0.3.Q4_K_M.gguf	Q4_K_M	4.37 GB	8.31 GB
mistral-7b-instruct-v0.3.Q4_K.gguf	Q4_K	4.37 GB	8.31 GB
mistral-7b-instruct-v0.3.Q4_1.gguf	Q4_1	4.56 GB	8.48 GB
mistral-7b-instruct-v0.3.Q5_0.gguf	Q5_0	5.00 GB	8.90 GB
mistral-7b-instruct-v0.3.Q5_K_S.gguf	Q5_K_S	5.00 GB	8.90 GB
mistral-7b-instruct-v0.3.Q5_K_M.gguf	Q5_K_M	5.14 GB	9.02 GB
mistral-7b-instruct-v0.3.Q5_K.gguf	Q5_K	5.14 GB	9.02 GB
mistral-7b-instruct-v0.3.Q5_1.gguf	Q5_1	5.45 GB	9.31 GB
mistral-7b-instruct-v0.3.Q6_K.gguf	Q6_K	5.95 GB	9.78 GB
mistral-7b-instruct-v0.3.Q8_0.gguf	Q8_0	7.70 GB	11.41 GB
mistral-7b-instruct-v0.3.f16.gguf	f16	14.50 GB	17.74 GB

⚠️ 免責聲明

Sanctum 並非 Sanctum 應用程序“模型”部分所展示的任何模型的創建者、發起者或所有者。每個模型均由第三方創建和提供。Sanctum 不認可、支持、代表或保證其中所列任何模型的完整性、真實性、準確性或可靠性。你應明白，受支持的模型可能會生成具有冒犯性、有害、不準確或其他不當、欺騙性的內容。每個模型的唯一責任方是發起該模型的個人或實體。Sanctum 可能不會監控或控制受支持的模型，並且不能也不會對任何此類模型負責。Sanctum 不承擔關於模型的準確性、可靠性或益處的所有保證或擔保。此外，Sanctum 不保證模型將滿足你的要求、安全、不間斷或在任何時間或地點可用，或無錯誤、無病毒，或任何錯誤將得到糾正等。你將對因使用或訪問模型、下載任何模型或使用 Sanctum 提供或通過 Sanctum 提供的任何其他模型而導致的任何損害承擔全部責任。