Mistral-Evolved-11b-v0.1-GGUFオープンソースモデル - 様々な量子化オプションで多様なニーズを満たす

Mistral Evolved 11b V0.1 GGUF

bartowskiによって開発

Mistral-Evolved-11b-v0.1の量子化バージョンで、llama.cppを使用して量子化されており、さまざまなニーズに対応するための複数の量子化オプションを提供します。

ダウンロード数 1,761

リリース時間 : 3/17/2024

モデル概要

これはMistral-Evolved-11b-v0.1モデルに基づく量子化バージョンで、主にテキスト生成タスクに使用されます。量子化されたモデルは高い性能を維持しながら、モデルサイズを大幅に削減し、リソースが限られたデバイスでの実行を容易にします。

複数の量子化オプション

Q8_0からQ2_Kまでのさまざまな量子化バージョンを提供し、ユーザーはニーズに応じて最適なバージョンを選択できます。

高性能

Q6_KとQ8_0バージョンは非常に高い品質を維持し、オリジナルモデルの性能とほぼ同等です。

リソース最適化

量子化されたモデルはファイルサイズを大幅に削減し、リソースが限られたデバイスでの実行に適しています。

テキスト生成

自然言語処理

テキスト生成

クリエイティブライティング

ストーリーや詩などのクリエイティブなテキストを生成するために使用されます。

高品質なクリエイティブテキストコンテンツを生成します。

対話システム

チャットボットや仮想アシスタントを構築するために使用されます。

流暢で自然な対話体験を提供します。

このプロジェクトは、llama.cpp のリリース b2440 を使用して、Mistral-Evolved-11b-v0.1モデルの量子化を行っています。

オリジナルのモデルはこちらから入手できます: https://huggingface.co/Replete-AI/Mistral-Evolved-11b-v0.1

以下からファイル（ブランチ全体ではなく）をダウンロードできます。

ファイル名	量子化タイプ	ファイルサイズ	説明
Mistral-Evolved-11b-v0.1-Q8_0.gguf	Q8_0	11.86GB	非常に高品質で、一般的には必要ないが、利用可能な最大の量子化。
Mistral-Evolved-11b-v0.1-Q6_K.gguf	Q6_K	9.16GB	非常に高品質で、ほぼ完璧。推奨。
Mistral-Evolved-11b-v0.1-Q5_K_M.gguf	Q5_K_M	7.90GB	高品質で、非常に使いやすい。
Mistral-Evolved-11b-v0.1-Q5_K_S.gguf	Q5_K_S	7.69GB	高品質で、非常に使いやすい。
Mistral-Evolved-11b-v0.1-Q5_0.gguf	Q5_0	7.69GB	高品質ですが、古い形式で、一般的には推奨されません。
Mistral-Evolved-11b-v0.1-Q4_K_M.gguf	Q4_K_M	6.72GB	良い品質で、4.25 bpwに近い。
Mistral-Evolved-11b-v0.1-Q4_K_S.gguf	Q4_K_S	6.36GB	品質が少し低いが、少しでも容量を節約できます。
Mistral-Evolved-11b-v0.1-Q4_0.gguf	Q4_0	6.31GB	まあまあの品質ですが、古い形式で、一般的には推奨されません。
Mistral-Evolved-11b-v0.1-Q3_K_L.gguf	Q3_K_L	5.87GB	品質は低いが使えます。低RAM環境に適しています。
Mistral-Evolved-11b-v0.1-Q3_K_M.gguf	Q3_K_M	5.40GB	さらに品質が低い。
Mistral-Evolved-11b-v0.1-Q3_K_S.gguf	Q3_K_S	4.85GB	低品質で、推奨されません。
Mistral-Evolved-11b-v0.1-Q2_K.gguf	Q2_K	4.16GB	非常に低品質で、推奨しません。