Leo Hessianai 7B GGUF

🚀 Leo Hessianai 7B - GGUF

このモデルは、自然言語処理タスクに使用できる大規模言語モデルです。GGUF形式で提供され、多くのクライアントやライブラリと互換性があります。

📚 詳細ドキュメント

モデル情報

モデル説明

このリポジトリには、LAION LeoLMのLeo Hessianai 7BのGGUF形式のモデルファイルが含まれています。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これはGGMLの代替品であり、現在はllama.cppでサポートされていません。

GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストは次のとおりです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、完全な機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートしています。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS (Silicon)用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリがあります。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方)用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論およびさらなる変換用の、LAION LeoLMの元の量子化されていないfp16モデル（pytorch形式）

プロンプトテンプレート

{prompt}

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cpp (コミットd0cee0d以降)と互換性があります。

また、多くのサードパーティのUIやライブラリとも互換性があります。詳細はこのREADMEの先頭にあるリストを参照してください。

量子化方法の説明

提供されるファイル

注: 上記のRAMの数値は、GPUオフロードがないことを前提としています。レイヤーをGPUにオフロードすると、RAMの使用量が減少し、代わりにVRAMが使用されます。

GGUFファイルのダウンロード方法

手動でダウンロードする人への注意: ほとんどの場合、リポジトリ全体をクローンする必要はありません！複数の異なる量子化形式が提供されており、ほとんどのユーザーは1つのファイルを選択してダウンロードするだけです。

以下のクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webuiでのダウンロード方法

「Download Model」の下で、モデルリポジトリ TheBloke/leo-hessianai-7B-GGUF を入力し、その下にダウンロードする特定のファイル名 (例: leo-hessianai-7b.Q4_K_M.gguf) を入力します。 そして、「Download」をクリックします。

コマンドラインでのダウンロード方法 (複数のファイルを一度に含む)

huggingface-hub Pythonライブラリの使用をおすすめします。

pip3 install huggingface-hub

その後、次のようなコマンドで、任意の個々のモデルファイルを高速で現在のディレクトリにダウンロードできます。

huggingface-cli download TheBloke/leo-hessianai-7B-GGUF leo-hessianai-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/leo-hessianai-7B-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/leo-hessianai-7B-GGUF leo-hessianai-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

実行方法

llama.cppでの実行例

llama.cpp がコミット d0cee0d 以降のバージョンであることを確認してください。

./main -ngl 32 -m leo-hessianai-7b.Q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

-ngl 32 をGPUにオフロードするレイヤーの数に変更します。GPUアクセラレーションがない場合は、このオプションを削除します。 -c 4096 を目的のシーケンス長に変更します。拡張シーケンスモデル (例: 8K、16K、32K) の場合、必要なRoPEスケーリングパラメータはGGUFファイルから読み取られ、llama.cppによって自動的に設定されます。 チャットスタイルの会話を行いたい場合は、-p <PROMPT> 引数を -i -ins に置き換えます。 他のパラメータとその使用方法については、llama.cppのドキュメント を参照してください。

text-generation-webuiでの実行方法

詳細な手順は、text-generation-webui/docs/llama.cpp.md を参照してください。

Pythonコードからの実行方法

llama-cpp-python または ctransformers ライブラリを使用して、PythonからGGUFモデルを使用できます。

ctransformersを使用してこのモデルをPythonコードでロードする方法

まず、パッケージをインストールします。 システムに応じて、以下のコマンドのいずれかを実行します。

# GPUアクセラレーションのない基本的なctransformers
pip install ctransformers
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]
# またはAMD ROCm GPUアクセラレーション付き (Linuxのみ)
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# またはmacOSシステム専用のMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers --no-binary ctransformers

シンプルなctransformersのサンプルコード

from ctransformers import AutoModelForCausalLM

# gpu_layersをGPUにオフロードするレイヤーの数に設定します。システムでGPUアクセラレーションが利用できない場合は、0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/leo-hessianai-7B-GGUF", model_file="leo-hessianai-7b.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

LangChainとの使用方法

llama-cpp-pythonとctransformersをLangChainと使用するガイドは次のとおりです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordサーバーに参加してください。 TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.ai チームに感謝します！ gpus.llm-utils.org のClayに感謝します！

多くの人から貢献できるかどうかを尋ねられました。私はモデルを提供し、人々を助けることが好きで、もっと多くの時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも進出したいと思っています。

貢献できる方がいれば、大変感謝します。これにより、より多くのモデルを提供し、新しいAIプロジェクトの開発を開始することができます。 寄付者は、すべてのAI/LLM/モデルに関する質問や要求に対して優先的なサポートを受け、プライベートなDiscordルームへのアクセス権やその他の特典を享受できます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz。 Patreonでの特別な言及: Pierre Kircher, Stanislav Ovsiannikov, Michael Levine, Eugene Pentland, Andrey, ϧÄ͵ê ÍπÄ, Randy H, Fred von Graf, Artur Olbinski, Caitlyn Gatomon, terasurfer, Jeff Scroggin, James Bentley, Vadim, Gabriel Puliatti, Harry Royden McLaughlin, Sean Connelly, Dan Guido, Edmond Seymore, Alicia Loh, subjectnull, AzureBlack, Manuel Alberto Morcote, Thomas Belote, Lone Striker, Chris Smitley, Vitor Caleffi, Johann-Peter Hartmann, Clay Pascal, biorpg, Brandon Frisco, sidney chen, transmissions 11, Pedro Madruga, jinyuan sun, Ajan Kanaga, Emad Mostaque, Trenton Dambrowitz, Jonathan Leane, Iucharbius