Geitje 7B Chat GPTQ

🚀 Geitje 7B Chat - GPTQ

このモデルは、Edwin Rijgersberg氏によって開発されたGeitje 7B ChatのGPTQ形式のモデルファイルを含んでいます。複数のGPTQパラメータの組み合わせが提供されており、ハードウェアと要件に合わせて最適なものを選ぶことができます。

🚀 クイックスタート

モデルの基本情報

関連リポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、8ビットのGGUFモデル
• GPU推論とさらなる変換用のEdwin Rijgersberg氏の元の非量子化fp16モデル（PyTorch形式）

プロンプトテンプレート: ToRA

<|user|>
{prompt}
<|assistant|>

互換性のあるクライアント/サーバー

GPTQモデルは現在、Linux（NVidia/AMD）とWindows（NVidiaのみ）でサポートされています。macOSユーザーはGGUFモデルを使用してください。

これらのGPTQモデルは以下の推論サーバー/ウェブUIで動作することが知られています。

• text-generation-webui
• KoboldAI United
• LoLLMS Web UI
• Hugging Face Text Generation Inference (TGI)

これは完全なリストではない可能性があります。他にも互換性のあるものを知っている場合は、教えてください！

提供されるファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に合わせて最適なものを選ぶことができます。

各量子化パラメータの組み合わせは異なるブランチにあります。異なるブランチからファイルを取得する方法については、以下を参照してください。

ほとんどのGPTQファイルはAutoGPTQで作成されています。Mistralモデルは現在、Transformersで作成されています。

ダウンロード方法（ブランチからのダウンロードを含む）

text-generation-webuiでのダウンロード

mainブランチからダウンロードするには、"Download model"ボックスにTheBloke/GEITje-7B-chat-GPTQを入力します。

他のブランチからダウンロードするには、ダウンロード名の末尾に:branchnameを追加します。例えば、TheBloke/GEITje-7B-chat-GPTQ:gptq-4bit-32g-actorder_True

コマンドラインからのダウンロード

huggingface-hubPythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

mainブランチをGEITje-7B-chat-GPTQというフォルダにダウンロードするには：

mkdir GEITje-7B-chat-GPTQ
huggingface-cli download TheBloke/GEITje-7B-chat-GPTQ --local-dir GEITje-7B-chat-GPTQ --local-dir-use-symlinks False

異なるブランチからダウンロードするには、--revisionパラメータを追加します。

mkdir GEITje-7B-chat-GPTQ
huggingface-cli download TheBloke/GEITje-7B-chat-GPTQ --revision gptq-4bit-32g-actorder_True --local-dir GEITje-7B-chat-GPTQ --local-dir-use-symlinks False

pip3 install hf_transfer

mkdir GEITje-7B-chat-GPTQ
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/GEITje-7B-chat-GPTQ --local-dir GEITje-7B-chat-GPTQ --local-dir-use-symlinks False

gitを使用したダウンロード（おすすめしません）

特定のブランチをgitでクローンするには、次のようなコマンドを使用します。

git clone --single-branch --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/GEITje-7B-chat-GPTQ

なお、GitをHFリポジトリとともに使用することは強くおすすめしません。huggingface-hubを使用するよりもはるかに遅く、モデルファイルを2回保存する必要があるため、ディスクスペースを2倍使ってしまいます（意図したターゲットフォルダと.gitフォルダの両方に保存されます）。

text-generation-webuiでのモデルのダウンロードと使用方法

text-generation-webuiの最新バージョンを使用していることを確認してください。

手動インストール方法を熟知していない限り、text-generation-webuiのワンクリックインストーラーを使用することを強くおすすめします。

1. Modelタブをクリックします。
2. Download custom model or LoRAの下に、TheBloke/GEITje-7B-chat-GPTQを入力します。
   • 特定のブランチからダウンロードするには、例えばTheBloke/GEITje-7B-chat-GPTQ:gptq-4bit-32g-actorder_Trueのように入力します。
   • 各オプションのブランチのリストについては、上記の「提供されるファイルとGPTQパラメータ」を参照してください。
3. Downloadをクリックします。
4. モデルのダウンロードが開始されます。完了すると、"Done"と表示されます。
5. 左上のModelの横にあるリフレッシュアイコンをクリックします。
6. Modelのドロップダウンメニューから、先ほどダウンロードしたモデルGEITje-7B-chat-GPTQを選択します。
7. モデルは自動的にロードされ、使用可能な状態になります！
8. カスタム設定が必要な場合は、設定を行ってから右上のSave settings for this modelをクリックし、続いてReload the Modelをクリックします。
   • 手動でGPTQパラメータを設定する必要はなく、しかも設定しないでください。これらはquantize_config.jsonファイルから自動的に設定されます。
9. 準備ができたら、Text Generationタブをクリックし、プロンプトを入力して開始します！

Text Generation Inference (TGI)からのモデルの提供

TGIバージョン1.1.0以上を使用することをおすすめします。公式のDockerコンテナはghcr.io/huggingface/text-generation-inference:1.1.0です。

例のDockerパラメータ：

--model-id TheBloke/GEITje-7B-chat-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

TGIとやり取りするための例のPythonコード（huggingface-hub 0.17.0以上が必要）：

pip3 install huggingface-hub

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''<|user|>
{prompt}
<|assistant|>
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"Model output: {response}")

Pythonコード例: このGPTQモデルからの推論

必要なパッケージのインストール

Transformers 4.33.0以上、Optimum 1.12.0以上、およびAutoGPTQ 0.4.2以上が必要です。

pip3 install --upgrade transformers optimum
# PyTorch 2.1 + CUDA 12.xを使用する場合:
pip3 install --upgrade auto-gptq
# または、PyTorch 2.1 + CUDA 11.xを使用する場合:
pip3 install --upgrade auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/

PyTorch 2.0を使用している場合は、AutoGPTQをソースからインストールする必要があります。同様に、事前構築されたホイールに問題がある場合は、ソースからビルドしてみることをおすすめします。

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.5.1
pip3 install .

例のPythonコード

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/GEITje-7B-chat-GPTQ"
# 別のブランチを使用する場合は、revisionを変更します。
# 例: revision="gptq-4bit-32g-actorder_True"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

# パイプラインを作成します。
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.1
)

# プロンプトを定義します。
prompt = "Tell me about AI"
prompt_template=f'''<|user|>
{prompt}
<|assistant|>
'''

# 推論を実行します。
output = pipe(prompt_template)[0]['generated_text']

print("Model output:", output)

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。