Mistral 7B Instruct V0.3 GGUF

🚀 Mistral-7B-Instruct-v0.3-GGUF

本項目提供了Mistral-7B-Instruct-v0.3模型的量化版本，可用於高效推理，同時支持在Gaianet上運行。

🚀 快速開始

原模型

原模型為 mistralai/Mistral-7B-Instruct-v0.3。

在Gaianet上運行

• 提示模板：使用 mistral-instruct 提示模板。
• 上下文大小：聊天上下文大小設置為 32000。
• 快速啟動：訪問 快速啟動指南。
• 自定義節點：參考 自定義節點指南。

✨ 主要特性

量化的GGUF模型

本項目提供了多種量化方法和比特數的GGUF模型，以滿足不同的使用場景。

使用llama.cpp b3030進行量化。

📄 許可證

本項目採用Apache-2.0許可證。