Mistral-7B-Instruct-v0.3-GGUFオープンソースモデル - 多様な量子化オプションで異なるハードウェア要件に対応

ホーム

Mistral 7B Instruct V0.3 GGUF

gaianetによって開発

Mistral-7B-Instruct-v0.3の量子化バージョン、さまざまなハードウェア要件に対応するための複数の量子化オプションを提供

大規模言語モデルオープンソースライセンス:Apache-2.0 #命令最適化 #長文脈処理 #軽量展開

ダウンロード数 137

リリース時間 : 5/30/2024

モデル概要

Mistral-7B-Instruct-v0.3に基づくGGUF量子化モデル、さまざまな量子化レベルをサポートし、異なる計算リソース環境での推論タスクに適応

モデル特徴

多様な量子化オプション

2ビットから16ビットまでのさまざまな量子化レベルを提供し、異なるハードウェア要件に対応

長文脈サポート

最大32000トークンの文脈長をサポート

効率的な推論

量子化技術により、より効率的な推論性能を実現

モデル能力

テキスト生成

対話システム

命令追従

コード生成

コンテンツ作成

使用事例

対話システム

インテリジェントアシスタント

複雑な命令を理解できるインテリジェントアシスタントの構築

高品質な対話体験

コンテンツ作成

記事生成

プロンプトに基づいて高品質な記事を生成

一貫性があり論理的なコンテンツ出力

🚀 Mistral-7B-Instruct-v0.3-GGUF

このプロジェクトはMistral-7B-Instruct-v0.3モデルのGGUF形式への量子化バージョンを提供し、Gaianetを用いた実行方法も案内します。

🚀 クイックスタート

オリジナルモデル

mistralai/Mistral-7B-Instruct-v0.3

Gaianetでの実行

プロンプトテンプレート

prompt template: mistral-instruct

コンテキストサイズ

chat_ctx_size: 32000

Gaianetでの実行方法

クイックスタート: https://docs.gaianet.ai/node-guide/quick-start
ノードのカスタマイズ: https://docs.gaianet.ai/node-guide/customize

✨ 主な機能

量子化されたGGUF形式のMistral-7B-Instruct-v0.3モデルを提供し、様々な量子化方法とビット数に対応しています。

📦 量子化されたGGUFモデル

名前	量子化方法	ビット数	サイズ	使用ケース
Mistral-7B-Instruct-v0.3-Q2_K.gguf	Q2_K	2	2.72 GB	最も小さいが、品質が大きく損失するため、ほとんどの用途では推奨されません。
Mistral-7B-Instruct-v0.3-Q3_K_L.gguf	Q3_K_L	3	3.83 GB	小さいが、品質が大きく損失します。
Mistral-7B-Instruct-v0.3-Q3_K_M.gguf	Q3_K_M	3	3.52 GB	非常に小さいが、品質が大きく損失します。
Mistral-7B-Instruct-v0.3-Q3_K_S.gguf	Q3_K_S	3	3.17 GB	非常に小さいが、品質が大きく損失します。
Mistral-7B-Instruct-v0.3-Q4_0.gguf	Q4_0	4	4.11 GB	旧バージョン; 小さいが、品質が非常に大きく損失するため、Q3_K_Mの使用を推奨します。
Mistral-7B-Instruct-v0.3-Q4_K_M.gguf	Q4_K_M	4	4.37 GB	中程度で、品質がバランスしています - 推奨
Mistral-7B-Instruct-v0.3-Q4_K_S.gguf	Q4_K_S	4	4.14 GB	小さいが、品質が大きく損失します。
Mistral-7B-Instruct-v0.3-Q5_0.gguf	Q5_0	5	5 GB	旧バージョン; 中程度で、品質がバランスしています - Q4_K_Mの使用を推奨します。
Mistral-7B-Instruct-v0.3-Q5_K_M.gguf	Q5_K_M	5	5.14 GB	大きいが、品質の損失が非常に少ない - 推奨
Mistral-7B-Instruct-v0.3-Q5_K_S.gguf	Q5_K_S	5	5 GB	大きいが、品質の損失が少ない - 推奨
Mistral-7B-Instruct-v0.3-Q6_K.gguf	Q6_K	6	5.95 GB	非常に大きいが、品質の損失が極めて少ない
Mistral-7B-Instruct-v0.3-Q8_0.gguf	Q8_0	8	7.7 GB	非常に大きいが、品質の損失が極めて少ない - 推奨されません。
Mistral-7B-Instruct-v0.3-f16.gguf	f16	16	14.5 GB