Merlyn Education Corpus Qa V2 GPTQ

🚀 Merlyn Education Corpus QA v2 - GPTQ

このモデルは、教育コーパスに特化した質問応答システムで、GPTQ形式で提供されています。複数の量子化パラメータが用意されており、ハードウェアや要件に合わせて最適なものを選択できます。

📚 詳細ドキュメント

モデル情報

ヘッダー情報

モデルの説明

このリポジトリには、Merlyn MindのMerlyn Education Corpus QA v2のGPTQモデルファイルが含まれています。複数のGPTQパラメータの組み合わせが用意されており、以下の「提供されているファイルとGPTQパラメータ」で詳細を確認できます。これらのファイルは、Massed Computeから提供されたハードウェアを使用して量子化されました。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、8ビットのGGUFモデル
• GPU推論とさらなる変換用の、Merlyn Mindの元の非量子化fp16モデル（pytorch形式）

プロンプトテンプレート: Merlyn-Education

Instruction:\t{system_message}
Conversation:
'user1':\tuser message to analyse
'user2':\tuser message to analyse
Response:

ライセンス

ソースモデルの作成者は、ライセンスをapache-2.0としています。この量子化モデルも同じライセンスを使用しています。このモデルはLlama 2をベースにしているため、Meta Llama 2のライセンス条項の対象となり、そのライセンスファイルも含まれています。したがって、両方のライセンスの下でライセンスされていると考えられます。二重ライセンスについての明確化のためにHugging Faceに問い合わせましたが、まだ公式の立場がありません。状況が変わった場合、またはMetaからフィードバックがあった場合、このセクションを適宜更新します。その間、ライセンスに関する質問、特にこれら2つのライセンスがどのように相互作用するかについては、元のモデルリポジトリMerlyn MindのMerlyn Education Corpus QA v2に問い合わせてください。

互換性のあるクライアント/サーバー

これらのGPTQモデルは、以下の推論サーバー/ウェブUIで動作することが知られています。

• text-generation-webui
• KoboldAI United
• LoLLMS Web UI
• Hugging Face Text Generation Inference (TGI)

これは完全なリストではない可能性があります。他の互換性のあるものを知っている場合は、教えてください！

提供されているファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に最適なものを選択できます。各量子化は異なるブランチにあります。異なるブランチから取得する方法については、以下を参照してください。ほとんどのGPTQファイルはAutoGPTQで作成されています。Mistralモデルは現在Transformersで作成されています。

ダウンロード方法（ブランチからの取得を含む）

text-generation-webuiでのダウンロード

mainブランチからダウンロードするには、「Download model」ボックスにTheBloke/merlyn-education-corpus-qa-v2-GPTQを入力します。他のブランチからダウンロードするには、ダウンロード名の末尾に:branchnameを追加します。例えば、TheBloke/merlyn-education-corpus-qa-v2-GPTQ:gptq-4bit-32g-actorder_Trueのようにします。

コマンドラインからのダウンロード

huggingface-hubPythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

mainブランチをmerlyn-education-corpus-qa-v2-GPTQというフォルダにダウンロードするには、以下のコマンドを実行します。

mkdir merlyn-education-corpus-qa-v2-GPTQ
huggingface-cli download TheBloke/merlyn-education-corpus-qa-v2-GPTQ --local-dir merlyn-education-corpus-qa-v2-GPTQ --local-dir-use-symlinks False

異なるブランチからダウンロードするには、--revisionパラメータを追加します。

mkdir merlyn-education-corpus-qa-v2-GPTQ
huggingface-cli download TheBloke/merlyn-education-corpus-qa-v2-GPTQ --revision gptq-4bit-32g-actorder_True --local-dir merlyn-education-corpus-qa-v2-GPTQ --local-dir-use-symlinks False

pip3 install hf_transfer

mkdir merlyn-education-corpus-qa-v2-GPTQ
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/merlyn-education-corpus-qa-v2-GPTQ --local-dir merlyn-education-corpus-qa-v2-GPTQ --local-dir-use-symlinks False

gitを使用する方法（推奨しません）

特定のブランチをgitでクローンするには、次のようなコマンドを使用します。

git clone --single-branch --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/merlyn-education-corpus-qa-v2-GPTQ

HFリポジトリでgitを使用することは強くお勧めしません。huggingface-hubを使用するよりもはるかに遅く、モデルファイルを2回保存する必要があるため、ディスクスペースを2倍使ってしまいます（意図したターゲットフォルダと.gitフォルダの両方に保存されます）。

text-generation-webuiでのダウンロードと使用方法

text-generation-webuiの最新バージョンを使用していることを確認してください。手動インストール方法を知っている場合を除き、text-generation-webuiのワンクリックインストーラーを使用することを強くおすすめします。

1. Modelタブをクリックします。
2. Download custom model or LoRAの下に、TheBloke/merlyn-education-corpus-qa-v2-GPTQを入力します。
   • 特定のブランチからダウンロードするには、例えばTheBloke/merlyn-education-corpus-qa-v2-GPTQ:gptq-4bit-32g-actorder_Trueのように入力します。
   • 各オプションのブランチのリストについては、上記の「提供されているファイルとGPTQパラメータ」を参照してください。
3. Downloadをクリックします。
4. モデルのダウンロードが開始されます。完了すると「Done」と表示されます。
5. 左上のModelの横にある更新アイコンをクリックします。
6. Modelのドロップダウンで、先ほどダウンロードしたモデルmerlyn-education-corpus-qa-v2-GPTQを選択します。
7. モデルが自動的にロードされ、使用可能になります！
8. カスタム設定が必要な場合は、設定してから右上のSave settings for this modelをクリックし、続いてReload the Modelをクリックします。
   • 手動でGPTQパラメータを設定する必要はなく、しかも設定しないでください。これらはquantize_config.jsonファイルから自動的に設定されます。
9. 準備ができたら、Text Generationタブをクリックし、プロンプトを入力して始めましょう！

Text Generation Inference (TGI)からのモデル提供

TGIバージョン1.1.0以降の使用をおすすめします。公式のDockerコンテナはghcr.io/huggingface/text-generation-inference:1.1.0です。

例のDockerパラメータ:

--model-id TheBloke/merlyn-education-corpus-qa-v2-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

TGIとインターフェースするための例のPythonコード（huggingface-hub 0.17.0以降が必要）:

pip3 install huggingface-hub

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''Instruction:\t{system_message}
Conversation:
'user1':\tuser message to analyse
'user2':\tuser message to analyse
Response:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  tempe