Mistral 7B V0.1 GGUF

🚀 Mistral 7B v0.1 - GGUF

このプロジェクトは、Mistral AIのMistral 7B v0.1モデルのGGUF形式のモデルファイルを提供しています。GGUFは新しいモデルフォーマットで、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このリポジトリには、Mistral AIのMistral 7B v0.1のGGUF形式のモデルファイルが含まれています。以下に、このモデルを使うための基本的な手順を説明します。

モデル情報

説明

このリポジトリには、Mistral AIのMistral 7B v0.1のGGUF形式のモデルファイルが含まれています。

GGUFについて

GGUFは、llama.cppチームによって2023年8月21日に導入された新しいフォーマットです。これはGGMLの代替フォーマットで、現在はllama.cppではGGMLがサポートされなくなりました。

GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストは以下の通りです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS (Silicon)用の使いやすく強力なローカルGUIで、GPUアクセラレーションがあります。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデルの選択が容易な完全なモデルライブラリがあります。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方)用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションがあります。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリ。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリ。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論とさらなる変換用の、Mistral AIの元の量子化されていないfp16モデル（pytorch形式）

プロンプトテンプレート: なし

{prompt}

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cpp（コミットd0cee0d以降）と互換性があります。

また、多くのサードパーティのUIやライブラリとも互換性があります。詳細はこのREADMEの冒頭のリストを参照してください。

シーケンス長に関する注意: このモデルはシーケンス長4096以下で動作します。GGUFはまだ新しいスライディングウィンドウシーケンス長モードをサポートしていないため、より長いシーケンス長はサポートされていません。

量子化方法の説明

提供されるファイル

注: 上記のRAM数値は、GPUオフロードがないことを前提としています。レイヤーがGPUにオフロードされると、これによりRAM使用量が減少し、代わりにVRAMが使用されます。

GGUFファイルのダウンロード方法

手動でダウンロードする方への注意: ほとんどの場合、リポジトリ全体をクローンする必要はありません！複数の異なる量子化形式が提供されており、ほとんどのユーザーは単一のファイルを選択してダウンロードするだけです。

以下のクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webuiでのダウンロード

「Download Model」の下で、モデルリポジトリを入力します: TheBloke/Mistral-7B-v0.1-GGUF。その下に、ダウンロードする特定のファイル名を入力します。例えば、mistral-7b-v0.1.Q4_K_M.gguf。

次に、「Download」をクリックします。

コマンドラインでのダウンロード（複数のファイルを一度に含む）

huggingface-hub Pythonライブラリの使用をお勧めします。

pip3 install huggingface-hub

次に、以下のようなコマンドで、任意の個々のモデルファイルを高速で現在のディレクトリにダウンロードできます。

huggingface-cli download TheBloke/Mistral-7B-v0.1-GGUF mistral-7b-v0.1.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/Mistral-7B-v0.1-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/Mistral-7B-v0.1-GGUF mistral-7b-v0.1.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

実行例

llama.cppコマンドの例

llama.cppのコミットd0cee0d以降を使用していることを確認してください。

./main -ngl 32 -m mistral-7b-v0.1.Q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

-ngl 32を、GPUにオフロードするレイヤーの数に変更してください。GPUアクセラレーションがない場合は、このオプションを削除してください。

シーケンス長は4096以下にすることができます。Mistralのスライディングウィンドウシーケンス長は、まだllama.cppでサポートされていないため、4096より長いシーケンス長はサポートされていません。

チャットスタイルの会話を行いたい場合は、-p <PROMPT>引数を-i -insに置き換えてください。

その他のパラメータとその使い方については、llama.cppのドキュメントを参照してください。

text-generation-webuiでの実行方法

詳細な手順はこちら: text-generation-webui/docs/llama.cpp.md。

Pythonコードからの実行方法

llama-cpp-pythonまたはctransformersライブラリを使用して、PythonからGGUFモデルを使用できます。

ctransformersを使用してこのモデルをPythonコードでロードする方法

注: Mistralモデルでctransformersをテストしていませんが、model_typeをllamaに設定すると動作する可能性があります。

まずパッケージをインストールする

システムに応じて、以下のコマンドのいずれかを実行します。

# GPUアクセラレーションのない基本的なctransformers
pip install ctransformers
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]
# またはAMD ROCm GPUアクセラレーション付き（Linuxのみ）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# またはmacOSシステム専用のMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers --no-binary ctransformers

シンプルなctransformersのサンプルコード

from ctransformers import AutoModelForCausalLM

# gpu_layersを、GPUにオフロードするレイヤーの数に設定します。システムでGPUアクセラレーションが利用できない場合は、0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Mistral-7B-v0.1-GGUF", model_file="mistral-7b-v0.1.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)

print(llm("AI is going to"))

LangChainとの使い方

LangChainでllama-cpp-pythonとctransformersを使用するガイドは以下の通りです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

Discord

これらのモデルやAI全般についてのさらなるサポートや議論に参加するには、以下に参加してください。 TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.aiチームに感謝します！ gpus.llm-utils.orgのClayに感謝します！

多くの方から貢献したいという質問をいただいています。私はモデルを提供し、人々を助けることが好きで、それにもっと時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも進出できることを楽しみにしています。

貢献できる方は、大変感謝していただけます。これにより、私がより多くのモデルを提供し続け、新しいAIプロジェクトの作業を開始するのに役立ちます。

寄付者は、すべてのAI/LLM/モデルに関する質問やリクエストに対する優先サポート、プライベートDiscordルームへのアクセス、その他の特典を受けることができます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz。

Patreonでの特別な言及: Alicia Loh, Stephen Murray, K, Ajan Kanaga, RoA, Magnesian, Deo Leter, Olakabola, Eugene Pentland, zynix, Deep Realms, Raymond Fosdick, Elijah Stavena, Iucharbius, Erik Bjäreholt, Luis Javier Navarrete Lozano, Nicholas, theTransient, John Detwiler, alfie_i, knownsqashed, Mano Prime, Willem Michiel, Enrico Ros, LangChain4j, OG, Michael Dempsey, Pierre Kircher, Pedro Madruga, James Bentley, Thomas Belote, Luke @flexchar, Leonard Tan, Johann-