Merlyn Education Safety GPTQ

🚀 Merlyn Education Safety 12B - GPTQ

このリポジトリは、Merlyn MindのMerlyn Education Safety 12BのGPTQモデルファイルを含んでいます。複数のGPTQパラメータの組み合わせが用意されており、以下の「提供されるファイル」で各オプション、そのパラメータ、および作成に使用されたソフトウェアの詳細を確認できます。これらのファイルは、Massed Computeにより提供されたハードウェアを使用して量子化されました。

✨ 主な機能

• 複数のGPTQパラメータの組み合わせを提供し、ハードウェアと要件に合わせた最適なパラメータを選択できます。
• 複数の推論サーバー/ウェブUIと互換性があります。

📦 インストール

テキスト生成ウェブUIでのダウンロード

• mainブランチからダウンロードするには、「モデルをダウンロード」ボックスにTheBloke/merlyn-education-safety-GPTQを入力します。
• 他のブランチからダウンロードするには、ダウンロード名の末尾に:branchnameを追加します。例えば、TheBloke/merlyn-education-safety-GPTQ:gptq-4bit-32g-actorder_True

コマンドラインからのダウンロード

huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

mainブランチをmerlyn-education-safety-GPTQというフォルダにダウンロードするには：

mkdir merlyn-education-safety-GPTQ
huggingface-cli download TheBloke/merlyn-education-safety-GPTQ --local-dir merlyn-education-safety-GPTQ --local-dir-use-symlinks False

別のブランチからダウンロードするには、--revisionパラメータを追加します。

mkdir merlyn-education-safety-GPTQ
huggingface-cli download TheBloke/merlyn-education-safety-GPTQ --revision gptq-4bit-32g-actorder_True --local-dir merlyn-education-safety-GPTQ --local-dir-use-symlinks False

Pythonコードでのインストール

必要なパッケージをインストールします。

pip3 install --upgrade transformers optimum
# PyTorch 2.1 + CUDA 12.xを使用する場合:
pip3 install --upgrade auto-gptq
# または、PyTorch 2.1 + CUDA 11.xを使用する場合:
pip3 install --upgrade auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/

PyTorch 2.0を使用している場合、または事前構築されたホイールに問題がある場合は、ソースからAutoGPTQをインストールする必要があります。

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.5.1
pip3 install .

💻 使用例

テキスト生成ウェブUIでの使用

1. モデルタブをクリックします。
2. カスタムモデルまたはLoRAをダウンロードの下に、TheBloke/merlyn-education-safety-GPTQを入力します。
   • 特定のブランチからダウンロードするには、例えばTheBloke/merlyn-education-safety-GPTQ:gptq-4bit-32g-actorder_Trueと入力します。
   • 各オプションのブランチのリストは、上記の「提供されるファイル」を参照してください。
3. ダウンロードをクリックします。
4. モデルのダウンロードが開始され、完了すると「完了」と表示されます。
5. 左上のモデルの横にある更新アイコンをクリックします。
6. モデルのドロップダウンで、先ほどダウンロードしたモデルmerlyn-education-safety-GPTQを選択します。
7. モデルは自動的にロードされ、使用可能な状態になります。
8. カスタム設定が必要な場合は、設定してから右上のこのモデルの設定を保存をクリックし、続いてモデルを再読み込みをクリックします。
   • 手動でGPTQパラメータを設定する必要はなく、quantize_config.jsonファイルから自動的に設定されます。
9. 準備ができたら、テキスト生成タブをクリックし、プロンプトを入力して使用を開始します。

Text Generation Inference (TGI)からのモデルの提供

TGIバージョン1.1.0以降の使用をおすすめします。公式のDockerコンテナはghcr.io/huggingface/text-generation-inference:1.1.0です。

--model-id TheBloke/merlyn-education-safety-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

TGIとやり取りするためのPythonコードの例（huggingface-hub 0.17.0以降が必要）：

pip3 install huggingface-hub

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''Instruction:\t{system_message}
Message:{prompt}
Response:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"Model output: {response}")

Pythonコードでの推論

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/merlyn-education-safety-GPTQ"
# 別のブランチを使用する場合は、revisionを変更します。
# 例えば: revision="gptq-4bit-32g-actorder_True"

📚 ドキュメント

提供されるファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に最適なものを選択できます。各量子化は異なるブランチにあります。異なるブランチから取得する方法については、以下を参照してください。ほとんどのGPTQファイルはAutoGPTQで作成されています。Mistralモデルは現在、Transformersで作成されています。

プロンプトテンプレート: Merlyn-Education-Safety

Instruction:\t{system_message}
Message:{prompt}
Response:

互換性のあるクライアント/サーバー

これらのGPTQモデルは、以下の推論サーバー/ウェブUIで動作することが確認されています。

• text-generation-webui
• KoboldAI United
• LoLLMS Web UI
• Hugging Face Text Generation Inference (TGI)

これは完全なリストではない可能性があります。他のものを知っている場合は、教えてください！

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。