Mistral NeMo Minitron 8B Base IMat GGUF

🚀 Mistral-NeMo-Minitron-8B-Base-IMat-GGUF

本項目是對nvidia/Mistral-NeMo-Minitron-8B-Base模型進行llama.cpp imatrix量化的成果，為模型的使用和部署提供了更多選擇。

🚀 快速開始

模型信息

原始模型信息

• 原始模型：nvidia/Mistral-NeMo-Minitron-8B-Base
• 原始數據類型：BF16 (bfloat16)
• 量化工具：llama.cpp b3613
• IMatrix數據集：點擊查看

文檔目錄

• 文件信息
  • IMatrix文件
  • 常用量化文件
  • 所有量化文件
• 使用huggingface-cli下載模型
• 推理使用說明
  • 使用Llama.cpp進行推理
• 常見問題解答
  • 為什麼IMatrix沒有應用到所有地方？
  • 如何合併拆分的GGUF文件？

📦 文件信息

IMatrix

• 狀態：✅ 可用
• 鏈接：點擊查看

常用量化文件

所有量化文件

📦 安裝指南

使用huggingface-cli下載模型

安裝huggingface-cli

如果你尚未安裝huggingface-cli，可以使用以下命令進行安裝：

pip install -U "huggingface_hub[cli]"

下載指定文件

使用以下命令下載你需要的特定文件：

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf" --local-dir ./

下載拆分文件

如果模型文件較大，已被拆分為多個文件，可使用以下命令將所有文件下載到本地文件夾：

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0/*" --local-dir ./
# 合併GGUF文件的方法請參考常見問題解答

💻 使用示例

使用Llama.cpp進行推理

llama.cpp/main -m Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf --color -i -p "prompt here"

📚 詳細文檔

常見問題解答

為什麼IMatrix沒有應用到所有地方？

根據這項調查，似乎只有較低的量化級別能從imatrix輸入中受益（根據hellaswag結果）。

如何合併拆分的GGUF文件？

1. 確保你已經獲取了gguf-split工具：
   • 訪問https://github.com/ggerganov/llama.cpp/releases 。
   • 從最新版本中下載適合你係統的zip文件。
   • 解壓文件後，你應該能找到gguf-split工具。
2. 找到你的GGUF文件塊所在的文件夾（例如：Mistral-NeMo-Minitron-8B-Base.Q8_0）。
3. 運行以下命令合併文件：

gguf-split --merge Mistral-NeMo-Minitron-8B-Base.Q8_0/Mistral-NeMo-Minitron-8B-Base.Q8_0-00001-of-XXXXX.gguf Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf

請確保將gguf-split指向拆分文件的第一個塊。

如果你有任何建議，歡迎在 @legraphista 聯繫我！