Mixtral 8x22B V0.1 GGUF

🚀 Mixtral-8x22B-v0.1のLlamacpp量子化モデル

このプロジェクトは、Mixtral-8x22B-v0.1モデルをllama.cppを用いて量子化したものです。量子化には高い性能と精度を兼ね備えたllama.cppを利用し、様々な量子化タイプのファイルを提供しています。

🚀 クイックスタート

量子化には llama.cpp のリリース b2636 を使用しています。 元のモデルはこちら: https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1

✨ 主な機能

• 複数の量子化タイプを提供し、ユーザーの環境やニーズに合わせて選択できます。
• 大規模なモデルを分割してアップロードしているため、一部のファイルをダウンロードするだけでも利用可能です。

📚 ドキュメント

プロンプト形式

これは基本モデルであり、特定のプロンプト形式はありません。

ファイルのダウンロード

このモデルは非常に大きいため、複数の部分に分割してアップロードしています。最近のバージョンのllamacppでは、パート1をロードすると残りの部分も自動的にロードされます。選択したサイズのすべてのパートをダウンロードすることを確認してください。

どのファイルを選べば良いか？

Artefact2による様々なパフォーマンスを示すチャート付きの素晴らしい記事がこちらにあります: ここ

まずは、実行できるモデルのサイズを把握する必要があります。これには、あなたが持っているRAMやVRAMの容量を調べる必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収めることを目指しましょう。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選びます。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選びます。

次に、'I-quant' または 'K-quant' を使用するかを決める必要があります。

あまり考えたくない場合は、K-quantのいずれかを選びましょう。これらは 'QX_K_X' の形式で、例えばQ5_K_Mです。

もっと詳細に調べたい場合は、この非常に便利な機能チャートをチェックできます:

llama.cpp feature matrix

基本的に、Q4以下を目指していて、cuBLAS (Nvidia) または rocBLAS (AMD) を使用している場合は、I-quantを検討する必要があります。これらはIQX_Xの形式で、例えばIQ3_Mです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUやApple Metalでも使用できますが、同等のK-quantよりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決める必要があります。

I-quantはVulcan (AMD) と互換性がありません。したがって、AMDカードを持っている場合は、rocBLASビルドまたはVulcanビルドを使用しているかを再度確認してください。この記事を書いている時点では、LM StudioにはROCmサポートのプレビューがあり、他の推論エンジンにはROCm用の特定のビルドがあります。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪れてください: https://ko-fi.com/bartowski

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。