Mixtral 8x22B V0.1 GGUF

🚀 Mixtral - 8x22B - v0.1的Llamacpp量化版本

本項目使用 llama.cpp 的 b2636 版本進行量化。該項目提供了Mixtral - 8x22B - v0.1模型的量化版本，可幫助用戶在不同硬件條件下更高效地運行模型。

🚀 快速開始

模型信息

• 原始模型：https://huggingface.co/mistral - community/Mixtral - 8x22B - v0.1
• 支持語言：法語、意大利語、德語、西班牙語、英語

提示格式

這是一個基礎模型，沒有特定的提示格式。

下載文件

此模型非常大，已拆分為多個部分進行上傳。較新版本的llamacpp允許你僅加載第一部分，其餘部分會自動加載。請確保下載所選量化類型的所有部分。

📚 詳細文檔

如何選擇文件

Artefact2 在此處 https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 提供了一份帶有圖表的詳細分析，展示了各種量化類型的性能。

首先，你需要確定能夠運行多大的模型。這需要你瞭解自己的系統內存（RAM）和/或顯存（VRAM）大小。

• 追求最快速度：如果你希望模型儘可能快地運行，應將整個模型加載到GPU的顯存中。選擇文件大小比GPU總顯存小1 - 2GB的量化版本。
• 追求最高質量：如果你追求絕對的最高質量，將系統內存和GPU顯存相加，然後選擇文件大小比該總和小1 - 2GB的量化版本。

接下來，你需要決定是使用“I - 量化”還是“K - 量化”。

• 不想過多考慮：選擇K - 量化，格式為“QX_K_X”，如Q5_K_M。
• 想深入瞭解：你可以查看這個非常有用的特性圖表：llama.cpp特性矩陣。一般來說，如果你目標是低於Q4的量化，並且使用cuBLAS（Nvidia）或rocBLAS（AMD），可以考慮I - 量化，格式為IQX_X，如IQ3_M。這些是較新的量化方法，在相同大小下性能更好。

I - 量化也可在CPU和Apple Metal上使用，但比相應的K - 量化慢，因此你需要在速度和性能之間進行權衡。另外，I - 量化與Vulcan（同樣適用於AMD）不兼容，如果你使用AMD顯卡，請仔細檢查是使用rocBLAS版本還是Vulcan版本。在撰寫本文時，LM Studio有支持ROCm的預覽版，其他推理引擎也有針對ROCm的特定版本。

支持作者

如果你想支持作者的工作，可以訪問作者的ko - fi頁面：https://ko - fi.com/bartowski

📄 許可證

本項目採用Apache 2.0許可證。