Codellama 13B GGUF

🚀 CodeLlama 13B - GGUF

このプロジェクトは、Metaが開発したCodeLlama 13BモデルのGGUF形式のモデルファイルを提供します。GGUFは新しいモデルフォーマットで、GGMLに代わるもので、多くの利点を持っています。

📚 ドキュメント

モデル情報

• モデル作成者: Meta
• オリジナルモデル: CodeLlama 13B

モデルの説明

このリポジトリには、MetaのCodeLlama 13BのGGUF形式のモデルファイルが含まれています。

GGUFについて

GGUFは、llama.cppチームによって2023年8月21日に導入された新しいフォーマットです。これはGGMLの代替品で、現在はllama.cppではGGMLがサポートされなくなっています。GGUFはGGMLに比べて多くの利点があり、例えば、より良いトークン化や特殊トークンのサポートがあります。また、メタデータをサポートし、拡張性を持つように設計されています。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使われているWeb UIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能のWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS (Silicon)用の使いやすく強力なローカルGUIで、GPUアクセラレーションがあります。
• LoLLMS Web UI、多くの面白くユニークな機能を持つ素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリがあります。
• Faraday.dev、WindowsとmacOS (SiliconとIntelの両方)用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションがあります。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさが備わっています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論とさらなる変換用の、Metaのオリジナルの非量子化fp16モデル（pytorch形式）

プロンプトテンプレート

{prompt}

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cpp（コミットd0cee0d36d5be95a0d9088b674dbb27354107221以降）と互換性があります。

また、多くのサードパーティのUIやライブラリとも互換性があります。詳細はこのREADMEの冒頭のリストを参照してください。

量子化方法の説明

提供されるファイル

注: 上記のRAMの数値は、GPUオフロードがないことを前提としています。レイヤーをGPUにオフロードすると、RAMの使用量が減少し、代わりにVRAMが使用されます。

GGUFファイルのダウンロード方法

手動ダウンロードする方への注意: ほとんどの場合、リポジトリ全体をクローンする必要はありません！複数の異なる量子化形式が提供されており、ほとんどのユーザーは1つのファイルを選択してダウンロードするだけです。

以下のクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webuiでのダウンロード方法

「Download Model」の下で、モデルリポジトリ「TheBloke/CodeLlama-13B-GGUF」を入力し、その下にダウンロードする特定のファイル名（例: codellama-13b.q4_K_M.gguf）を入力します。 そして「Download」をクリックします。

コマンドラインでのダウンロード方法（複数のファイルを一度に含む場合も）

huggingface-hub Pythonライブラリの使用をおすすめします。

pip3 install huggingface-hub>=0.17.1

その後、以下のようなコマンドで、任意の個々のモデルファイルを高速で現在のディレクトリにダウンロードできます。

huggingface-cli download TheBloke/CodeLlama-13B-GGUF codellama-13b.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/CodeLlama-13B-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HUGGINGFACE_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/CodeLlama-13B-GGUF codellama-13b.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

使用方法

llama.cppでの実行例

llama.cppをd0cee0d36d5be95a0d9088b674dbb27354107221以降のバージョンを使用してください。

./main -ngl 32 -m codellama-13b.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

-ngl 32はGPUにオフロードするレイヤーの数です。GPUアクセラレーションがない場合は削除してください。 -c 4096は希望するシーケンス長です。拡張シーケンスモデル（例: 8K、16K、32K）の場合、必要なRoPEスケーリングパラメータはGGUFファイルから読み取られ、llama.cppによって自動的に設定されます。 チャットスタイルの会話をしたい場合は、-p <PROMPT>引数を-i -insに置き換えてください。 その他のパラメータとその使い方については、llama.cppのドキュメントを参照してください。

text-generation-webuiでの実行方法

詳細な手順は、text-generation-webui/docs/llama.cpp.mdを参照してください。

Pythonコードからの実行方法

llama-cpp-pythonまたはctransformersライブラリを使用して、PythonからGGUFモデルを使用することができます。

ctransformersを使用してPythonからこのモデルをロードする方法

まず、パッケージをインストールします。

# GPUアクセラレーションのない基本的なctransformers
pip install ctransformers>=0.2.24
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]>=0.2.24
# またはROCm GPUアクセラレーション付き
CT_HIPBLAS=1 pip install ctransformers>=0.2.24 --no-binary ctransformers
# またはmacOSシステム用のMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers>=0.2.24 --no-binary ctransformers

これらのGGUFモデルの1つをロードする簡単なサンプルコードは以下の通りです。

from ctransformers import AutoModelForCausalLM

# gpu_layersをGPUにオフロードするレイヤーの数に設定します。システムでGPUアクセラレーションが利用できない場合は0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/CodeLlama-13B-GGUF", model_file="codellama-13b.q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

LangChainとの連携方法

llama-cpp-pythonまたはctransformersをLangChainと連携するガイドは以下の通りです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordサーバーに参加してください。 TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.aiチームに感謝します！ gpus.llm-utils.orgのClayに感謝します！

多くの方から貢献できるかどうか尋ねられます。私はモデルを提供し、人々の助けをすることが楽しいです。もっと多くの時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも進出できると嬉しいです。

もし貢献できる方は、大変感謝します。これにより、より多くのモデルを提供し、新しいAIプロジェクトの開発を開始するのに役立ちます。 寄付者は、すべてのAI/LLM/モデルに関する質問やリクエストに対する優先サポート、プライベートDiscordルームへのアクセス、その他の特典を受けることができます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz Patreonでの特別な言及: Alicia Loh, Stephen Murray, K, Ajan Kanaga, RoA, Magnesian, Deo Leter, Olakabola, Eugene Pentland, zynix, Deep Realms, Raymond Fosdick, Elijah Stavena, Iucharbius, Erik Bjäreholt, Luis Javier Navarrete Lozano, Nicholas, theTransient, John Detwiler, alfie_i, knownsqashed, Mano Prime, Willem Michiel, Enrico Ros, LangChain4j, OG, Michael Dempsey, Pierre Kircher, Pedro Madruga, James Bentley, Thomas Belote, Luke @flexchar, Leonard Tan, Johann-Peter Hartmann, Illia Dulskyi, Fen Risland, Chadd, S_X, Jeff Scroggin, Ken Nordquist, Sean Connelly, Artur Olbinski, Swaroop Kallakuri, Jack West, Ai Maven, David Ziegler, Russ Johnson, transmissions 11, John Villwock, Alps Aficionado

ライセンス

このモデルはLlama 2のライセンスの下で提供されています。