Pygmalion 2 13B SuperCOT Weighed GGUF

🚀 Pygmalion 2 13B SuperCOT Weighed - GGUF

このモデルは、テキスト生成タスクに特化した、Royallabによって作成された高性能な言語モデルです。GGUF形式で提供され、多くのクライアントやライブラリと互換性があります。

🚀 クイックスタート

このモデルをすぐに使い始めるには、以下の手順に従ってください。

モデルのダウンロード

モデルを自動的にダウンロードするには、以下のクライアント/ライブラリを使用できます。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webui でダウンロードするには、「Download Model」の下にモデルのリポジトリ TheBloke/Pygmalion-2-13B-SuperCOT-weighed-GGUF を入力し、その下にダウンロードする具体的なファイル名（例: pygmalion-2-13b-supercot-weighed.q4_K_M.gguf）を入力して、「Download」をクリックします。

コマンドラインでダウンロードするには、huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub>=0.17.1

その後、以下のコマンドで任意のモデルファイルを現在のディレクトリに高速でダウンロードできます。

huggingface-cli download TheBloke/Pygmalion-2-13B-SuperCOT-weighed-GGUF pygmalion-2-13b-supercot-weighed.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

モデルの実行

llama.cppでの実行

llama.cpp を使用してモデルを実行するには、以下のコマンドを使用します。

./main -ngl 32 -m pygmalion-2-13b-supercot-weighed.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{prompt}\n\n### Response:"

-ngl 32 はGPUにオフロードするレイヤー数を指定します。GPUアクセラレーションがない場合は削除してください。 -c 4096 は希望するシーケンス長を指定します。拡張シーケンスモデル（8K、16K、32Kなど）の場合、必要なRoPEスケーリングパラメータはGGUFファイルから読み取られ、llama.cpp によって自動的に設定されます。

チャットスタイルの会話を行いたい場合は、-p <PROMPT> 引数を -i -ins に置き換えてください。

text-generation-webuiでの実行

詳細な手順は text-generation-webui/docs/llama.cpp.md を参照してください。

Pythonコードからの実行

llama-cpp-python または ctransformers ライブラリを使用して、PythonからGGUFモデルを使用できます。

ctransformers を使用してこのモデルをPythonからロードするには、まずパッケージをインストールします。

#  GPUアクセラレーションなしの基本的なctransformers
pip install ctransformers>=0.2.24
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]>=0.2.24
# またはROCm GPUアクセラレーション付き
CT_HIPBLAS=1 pip install ctransformers>=0.2.24 --no-binary ctransformers
# またはmacOSシステムのMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers>=0.2.24 --no-binary ctransformers

以下は、これらのGGUFモデルの1つをロードする簡単なコード例です。

from ctransformers import AutoModelForCausalLM

# gpu_layersをGPUにオフロードするレイヤー数に設定します。システムでGPUアクセラレーションが利用できない場合は0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Pygmalion-2-13B-SuperCOT-weighed-GGUF", model_file="pygmalion-2-13b-supercot-weighed.q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

✨ 主な機能

• GGUF形式対応: GGUFはGGMLの代替形式で、より良いトークン化や特殊トークンのサポートなど、多くの利点を持っています。
• 多数のクライアント/ライブラリとの互換性: llama.cpp、text-generation-webui、KoboldCpp など、多くのクライアントやライブラリと互換性があります。
• 複数の量子化方法: 2、3、4、5、6、8ビットの量子化モデルが提供され、ユーザーのニーズに合わせて選択できます。

📦 インストール

モデルのダウンロードと実行に必要なライブラリのインストール方法は、「クイックスタート」セクションを参照してください。

📚 ドキュメント

モデルの詳細

• モデル作成者: royallab
• 元のモデル: Pygmalion 2 13B SuperCOT Weighed
• モデルタイプ: llama
• パイプラインタグ: text-generation

GGUF形式について

GGUFは2023年8月21日にllama.cppチームによって導入された新しい形式で、GGMLの代替となります。GGMLはもうllama.cppでサポートされていません。GGUFはGGMLに比べて多くの利点があり、例えば、より良いトークン化や特殊トークンのサポートがあり、メタデータもサポートし、拡張性を持つように設計されています。

以下は、GGUFをサポートすることが知られているクライアントやライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているウェブUIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、全機能のウェブUIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションをサポートしています。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいウェブUIで、簡単なモデル選択のための完全なモデルライブラリも含まれています。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバーを備えたPythonライブラリ。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバーを備えたPythonライブラリ。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• GPU推論用のGPTQモデル（複数の量子化パラメータオプションあり）
• CPU+GPU推論用の2、3、4、5、6、8ビットのGGUFモデル
• royallabの元の量子化されていないfp16モデル（pytorch形式、GPU推論とさらなる変換用）

プロンプトテンプレート

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降の d0cee0d36d5be95a0d9088b674dbb27354107221 コミット以降の llama.cpp と互換性があります。

また、多くのサードパーティのUIやライブラリとも互換性があります。詳細はこのREADMEの冒頭のリストを参照してください。

量子化方法の説明

提供されるファイル

注: 上記のRAMの数値は、GPUオフロードを行わない場合を想定しています。レイヤーをGPUにオフロードすると、RAMの使用量が減少し、代わりにVRAMが使用されます。

🔧 技術詳細

このモデルは、Royallabによって作成されたLlamaベースの言語モデルです。量子化方法やモデルの構造に関する詳細は、上記の「量子化方法の説明」と「提供されるファイル」セクションを参照してください。

📄 ライセンス

このモデルはLlama2のライセンスの下で提供されています。

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordに参加してください。 TheBloke