Causallm 7B GGUF

🚀 CausalLM 7B - GGUF

このモデルは、自然言語処理におけるテキスト生成タスクに特化したモデルです。多様なデータセットで学習され、英語と中国語に対応しています。

🚀 クイックスタート

このセクションでは、CausalLM 7B - GGUF モデルの基本的な使い方を説明します。

モデル情報

モデルのダウンロード

pip3 install huggingface-hub

huggingface-cli download TheBloke/CausalLM-7B-GGUF causallm_7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/CausalLM-7B-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/CausalLM-7B-GGUF causallm_7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

モデルの実行

llama.cpp での実行例

llama.cpp を d0cee0d 以降のコミットを使用していることを確認してください。

./main -ngl 32 -m causallm_7b.Q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant"

• -ngl 32 を GPU にオフロードするレイヤー数に変更します。GPU アクセラレーションがない場合は削除します。
• -c 4096 を目的のシーケンス長に変更します。拡張シーケンスモデル（例: 8K、16K、32K）の場合、必要な RoPE スケーリングパラメータは GGUF ファイルから読み取られ、llama.cpp によって自動的に設定されます。
• チャットスタイルの会話を行う場合は、-p <PROMPT> 引数を -i -ins に置き換えます。

その他のパラメータとその使い方については、the llama.cpp documentation を参照してください。

text-generation-webui での実行方法

詳細な手順は text-generation-webui/docs/llama.cpp.md を参照してください。

Python コードからの実行方法

llama-cpp-python または ctransformers ライブラリを使用して、Python から GGUF モデルを使用できます。

ctransformers を使用したモデルの読み込み

まず、システムに応じて以下のコマンドのいずれかを実行してパッケージをインストールします。

# GPU アクセラレーションなしの基本的な ctransformers
pip install ctransformers
# または CUDA GPU アクセラレーション付き
pip install ctransformers[cuda]
# または AMD ROCm GPU アクセラレーション付き（Linux のみ）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# または macOS システムのみの Metal GPU アクセラレーション付き
CT_METAL=1 pip install ctransformers --no-binary ctransformers

簡単な ctransformers のサンプルコード

from ctransformers import AutoModelForCausalLM

# gpu_layers を GPU にオフロードするレイヤー数に設定します。システムで GPU アクセラレーションが利用できない場合は 0 に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/CausalLM-7B-GGUF", model_file="causallm_7b.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

LangChain との連携方法

LangChain で llama-cpp-python と ctransformers を使用するガイドは以下の通りです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

✨ 主な機能

• 多言語対応: 英語と中国語に対応しています。
• 多様なデータセットでの学習: 多様なデータセットで学習されており、幅広いテキスト生成タスクに対応しています。
• 複数の量子化形式: 複数の量子化形式が提供されており、ユーザーのニーズに合わせて最適な形式を選択できます。

📦 インストール

モデルのダウンロード方法については、「クイックスタート」セクションの「モデルのダウンロード」を参照してください。

💻 使用例

基本的な使用法

from ctransformers import AutoModelForCausalLM

llm = AutoModelForCausalLM.from_pretrained("TheBloke/CausalLM-7B-GGUF", model_file="causallm_7b.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

高度な使用法

# 高度なシナリオの説明
# ここでは、特定のプロンプトを使用してモデルを実行する例を示します。
from ctransformers import AutoModelForCausalLM

llm = AutoModelForCausalLM.from_pretrained("TheBloke/CausalLM-7B-GGUF", model_file="causallm_7b.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

prompt = "<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant"
print(llm(prompt))

📚 ドキュメント

プロンプトテンプレート

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

互換性

これらの量子化された GGUFv2 ファイルは、8 月 27 日以降の llama.cpp と互換性があります（コミット d0cee0d 以降）。また、多くのサードパーティの UI やライブラリとも互換性があります。詳細はこの README の冒頭のリストを参照してください。

量子化方法の説明

提供されるファイル

注意: 上記の RAM 数値は、GPU オフロードを行わない場合を想定しています。レイヤーを GPU にオフロードすると、RAM 使用量が減少し、代わりに VRAM が使用されます。

🔧 技術詳細

このモデルは Llama 2 をベースに構築されており、多様なデータセットで学習されています。量子化方法については、「ドキュメント」セクションの「量子化方法の説明」を参照してください。

📄 ライセンス

ソースモデルの作成者は、そのライセンスを wtfpl としてリストしており、この量子化も同じライセンスを使用しています。このモデルは Llama 2 に基づいているため、Meta Llama 2 のライセンス条項の対象となり、そのライセンスファイルも追加で含まれています。したがって、このモデルは両方のライセンスの下でライセンスされていると見なされるべきです。デュアルライセンスについての明確化のために Hugging Face に問い合わせましたが、まだ公式の立場がありません。この状況が変更された場合、または Meta から何らかのフィードバックがあった場合、このセクションを適宜更新します。

現時点では、ライセンスに関する質問、特にこれら 2 つのライセンスがどのように相互作用するかについては、元のモデルリポジトリ CausalLM's CausalLM 7B に問い合わせてください。