Wizardlm 2 8x22B GGUF

🚀 MaziyarPanahi/WizardLM-2-8x22B-GGUF

このモデルはmicrosoft/WizardLM-2-8x22BのGGUF形式のモデルファイルを含んでおり、テキスト生成に利用できます。

🚀 クイックスタート

このモデルはmicrosoft/WizardLM-2-8x22BのGGUF形式のモデルファイルを提供します。以下に、ダウンロードや使用方法を説明します。

📦 インストール

必要なモデルのみをダウンロード

リポジトリ全体をクローンする代わりに、必要な量子化モデルのみをダウンロードすることができます。

LinuxやmacOSの場合:

huggingface-cli download MaziyarPanahi/WizardLM-2-8x22B-GGUF --local-dir . --include '*Q2_K*gguf'

Windowsの場合:

huggingface-cli download MaziyarPanahi/WizardLM-2-8x22B-GGUF --local-dir . --include *Q4_K_S*gguf

💻 使用例

シャーディングされたモデルの読み込み

llama_load_model_from_file はファイル数を検出し、残りのファイルから追加のテンソルを読み込みます。

llama.cpp/main -m WizardLM-2-8x22B.Q2_K-00001-of-00005.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 1024 -e

プロンプトテンプレート

{system_prompt}
USER: {prompt}
ASSISTANT: </s>

または

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: {prompt} ASSISTANT: </s>......

📚 ドキュメント

• モデル作成者: microsoft
• オリジナルモデル: microsoft/WizardLM-2-8x22B

モデル情報

タグ

• quantized
• 2-bit
• 3-bit
• 4-bit
• 5-bit
• 6-bit
• 8-bit
• GGUF
• transformers
• safetensors
• mistral
• text-generation
• arxiv:2304.12244
• arxiv:2306.08568
• arxiv:2308.09583
• autotrain_compatible
• endpoints_compatible
• text-generation-inference
• region:us
• text-generation