Storytime 13B GPTQ

🚀 Storytime 13B - GPTQ

このモデルは、Charles Goddardによって開発されたStorytime 13BのGPTQモデルファイルを提供します。複数のGPTQパラメータのパーミュテーションが用意されており、ハードウェアと要件に最適なものを選ぶことができます。

📚 ドキュメント

モデル情報

• モデル作成者: Charles Goddard
• オリジナルモデル: Storytime 13B

説明

このリポジトリには、Charles GoddardのStorytime 13BのGPTQモデルファイルが含まれています。複数のGPTQパラメータのパーミュテーションが提供されており、以下の「提供されているファイルとGPTQパラメータ」で各オプションの詳細、パラメータ、および作成に使用されたソフトウェアについて説明しています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論およびさらなる変換用の、Charles Goddardの元の量子化されていないfp16モデル（pytorch形式）

プロンプトテンプレート: Alpaca

以下はタスクを説明する指示です。要求を適切に完了する応答を書いてください。

### 指示:
{prompt}

### 応答:

提供されているファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に最適なものを選ぶことができます。各個別の量子化は異なるブランチにあります。異なるブランチから取得する方法については、以下を参照してください。最近のすべてのGPTQファイルはAutoGPTQで作成されており、mainブランチ以外のすべてのファイルはAutoGPTQで作成されています。2023年8月より前にアップロードされたmainブランチのファイルは、GPTQ-for-LLaMaで作成されています。

ダウンロード方法（ブランチからのダウンロードを含む）

text-generation-webuiでのダウンロード

mainブランチからダウンロードするには、「モデルをダウンロード」ボックスにTheBloke/storytime-13B-GPTQを入力します。他のブランチからダウンロードするには、ダウンロード名の末尾に:branchnameを追加します。例えば、TheBloke/storytime-13B-GPTQ:gptq-4-32g-actorder_Trueのようにします。

コマンドラインからのダウンロード

huggingface-hub Pythonライブラリの使用をおすすめします。

pip3 install huggingface-hub

mainブランチをstorytime-13B-GPTQというフォルダにダウンロードするには、以下のコマンドを実行します。

mkdir storytime-13B-GPTQ
huggingface-cli download TheBloke/storytime-13B-GPTQ --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

異なるブランチからダウンロードするには、--revisionパラメータを追加します。

mkdir storytime-13B-GPTQ
huggingface-cli download TheBloke/storytime-13B-GPTQ --revision gptq-4-32g-actorder_True --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

pip3 install hf_transfer

mkdir storytime-13B-GPTQ
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/storytime-13B-GPTQ --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

gitを使用したダウンロード（推奨しません）

gitで特定のブランチをクローンするには、次のようなコマンドを使用します。

git clone --single-branch --branch gptq-4-32g-actorder_True https://huggingface.co/TheBloke/storytime-13B-GPTQ

HFリポジトリでGitを使用することは強くお勧めしません。huggingface-hubを使用するよりもはるかに遅く、モデルファイルを2回保存する必要があるため（意図したターゲットフォルダと.gitフォルダの両方に保存される）、ディスクスペースを2倍使います。

text-generation-webuiでこのモデルを簡単にダウンロードして使用する方法

text-generation-webuiの最新バージョンを使用していることを確認してください。手動インストール方法をよく理解していない限り、text-generation-webuiのワンクリックインストーラーの使用を強くおすすめします。

1. モデルタブをクリックします。
2. カスタムモデルまたはLoRAをダウンロードの下に、TheBloke/storytime-13B-GPTQを入力します。

• 特定のブランチからダウンロードするには、例えばTheBloke/storytime-13B-GPTQ:gptq-4-32g-actorder_Trueのように入力します。
• 各オプションのブランチのリストについては、上記の「提供されているファイルとGPTQパラメータ」を参照してください。

3. ダウンロードをクリックします。
4. モデルのダウンロードが開始されます。完了すると「完了」と表示されます。
5. 左上のモデルの横にある更新アイコンをクリックします。
6. モデルのドロップダウンで、先ほどダウンロードしたモデルstorytime-13B-GPTQを選択します。
7. モデルは自動的にロードされ、使用可能な状態になります！
8. カスタム設定が必要な場合は、設定を行ってから右上の「このモデルの設定を保存」をクリックし、続いて「モデルを再読み込み」をクリックします。

• 手動でGPTQパラメータを設定する必要はなく、設定しないでください。これらはquantize_config.jsonファイルから自動的に設定されます。

9. 準備ができたら、テキスト生成タブをクリックし、プロンプトを入力して開始します！

PythonコードからこのGPTQモデルを使用する方法

必要なパッケージのインストール

Transformers 4.33.0以降、Optimum 1.12.0以降、およびAutoGPTQ 0.4.2以降が必要です。

pip3 install transformers optimum
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # CUDA 11.7の場合はcu117を使用

事前構築済みのホイールを使用してAutoGPTQをインストールする際に問題がある場合は、代わりにソースからインストールします。

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.4.2
pip3 install .

コードの使用例

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/storytime-13B-GPTQ"
# 別のブランチを使用する場合は、revisionを変更します。
# 例: revision="gptq-4-32g-actorder_True"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# 推論は、transformersのpipelineを使用しても行えます。

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

互換性

提供されているファイルは、Transformersを介してもAutoGPTQを直接使用しても、AutoGPTQで動作することがテストされています。Occ4mのGPTQ-for-LLaMaフォークでも動作するはずです。

ExLlamaは4ビットのLlamaモデルと互換性があります。各ファイルの互換性については、上記の「提供されているファイルとGPTQパラメータ」の表を参照してください。

Huggingface Text Generation Inference (TGI)は、すべてのGPTQモデルと互換性があります。

📄 ライセンス

このモデルは、Llama 2のライセンスの下で提供されています。

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordサーバーに参加してください。

TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.aiチームに感謝します！

gpus.llm-utils.orgのClayに感謝します！

多くの人から貢献できるかどうか尋ねられています。私はモデルを提供し、人々を助けることが好きであり、もっと多くの時間を費やせるようになることを楽しみにしています。