Nethena 20B GPTQ

🚀 Nethena 20B - GPTQ

Nethena 20B - GPTQは、NeverSleepによって作成されたNethena 20BモデルのGPTQ形式のモデルです。複数のGPTQパラメータのパーミュテーションが提供されており、ハードウェアと要件に合わせて最適なものを選択できます。

🚀 クイックスタート

このセクションでは、Nethena 20B - GPTQモデルの基本的な使い方を説明します。

✨ 主な機能

• 複数のGPTQパラメータのパーミュテーションが提供され、ハードウェアと要件に合わせて最適なものを選択できます。
• 複数の推論サーバー/ウェブUIで動作することが知られています。

📦 インストール

text-generation-webuiでのダウンロード

mainブランチからダウンロードするには、「Download model」ボックスにTheBloke/Nethena-20B-GPTQを入力します。 他のブランチからダウンロードするには、ダウンロード名の末尾に:branchnameを追加します。例えば、TheBloke/Nethena-20B-GPTQ:gptq-4bit-128g-actorder_Trueです。

コマンドラインからのダウンロード

huggingface-hubPythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

mainブランチをNethena-20B-GPTQというフォルダにダウンロードするには、次のコマンドを実行します。

mkdir Nethena-20B-GPTQ
huggingface-cli download TheBloke/Nethena-20B-GPTQ --local-dir Nethena-20B-GPTQ --local-dir-use-symlinks False

別のブランチからダウンロードするには、--revisionパラメータを追加します。

mkdir Nethena-20B-GPTQ
huggingface-cli download TheBloke/Nethena-20B-GPTQ --revision gptq-4bit-128g-actorder_True --local-dir Nethena-20B-GPTQ --local-dir-use-symlinks False

gitを使用する場合（非推奨）

特定のブランチをgitでクローンするには、次のようなコマンドを使用します。

git clone --single-branch --branch gptq-4bit-128g-actorder_True https://huggingface.co/TheBloke/Nethena-20B-GPTQ

💻 使用例

基本的な使用法

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"Model output: {response}")

高度な使用法

# 高度な使用法の説明
# 例えば、特定のパラメータを調整して性能を最適化するなど
from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=256,
                                  do_sample=True,
                                  temperature=0.8,
                                  top_p=0.9,
                                  top_k=50,
                                  repetition_penalty=1.2)

print(f"Model output: {response}")

📚 ドキュメント

説明

このリポジトリには、NeverSleepのNethena 20BのGPTQモデルファイルが含まれています。 複数のGPTQパラメータのパーミュテーションが提供されており、提供されているオプション、そのパラメータ、およびそれらを作成するために使用されたソフトウェアの詳細については、「Provided files, and GPTQ parameters」を参照してください。 これらのファイルは、Massed Computeによって提供されたハードウェアを使用して量子化されました。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つGPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論およびさらなる変換用の、NeverSleepの元の非量子化fp16モデル（pytorch形式）

ライセンス

ソースモデルの作成者は、そのライセンスをcc-by-nc-4.0としてリストしており、この量子化も同じライセンスを使用しています。 このモデルはLlama 2をベースにしているため、Meta Llama 2のライセンス条項の対象となり、そのライセンスファイルも追加で含まれています。したがって、これら2つのライセンスの下でライセンスされていると見なされるべきです。二重ライセンスに関する明確化のためにHugging Faceに問い合わせましたが、まだ公式の立場はありません。これが変更された場合、またはMetaがこの状況に関するフィードバックを提供した場合、このセクションを適宜更新します。 その間、ライセンスに関する質問、特にこれら2つのライセンスがどのように相互作用するかについては、元のモデルリポジトリ：NeverSleepのNethena 20Bに問い合わせてください。

互換性のあるクライアント/サーバー

これらのGPTQモデルは、以下の推論サーバー/ウェブUIで動作することが知られています。

• text-generation-webui
• KobaldAI United
• LoLLMS Web UI
• Hugging Face Text Generation Inference (TGI) これは完全なリストではない可能性があります。他のものを知っている場合は、教えてください！

提供されるファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に最適なものを選択できます。 各個別の量子化は異なるブランチにあります。異なるブランチから取得する方法については、以下を参照してください。 ほとんどのGPTQファイルはAutoGPTQで作成されています。Mistralモデルは現在、Transformersで作成されています。

text-generation-webuiでの使用方法

text-generation-webuiの最新バージョンを使用していることを確認してください。 手動インストール方法を熟知していない限り、text-generation-webuiのワンクリックインストーラーを使用することを強くおすすめします。

1. Modelタブをクリックします。
2. Download custom model or LoRAの下に、TheBloke/Nethena-20B-GPTQを入力します。
   • 特定のブランチからダウンロードするには、例えばTheBloke/Nethena-20B-GPTQ:gptq-4bit-128g-actorder_Trueを入力します。
   • 各オプションのブランチのリストについては、「Provided files, and GPTQ parameters」を参照してください。
3. Downloadをクリックします。
4. モデルのダウンロードが完了すると、「Done」と表示されます。
5. 左上のModelの横にある更新アイコンをクリックします。
6. Modelのドロップダウンメニューから、先ほどダウンロードしたモデルNethena-20B-GPTQを選択します。
7. モデルは自動的にロードされ、使用可能になります！
8. カスタム設定が必要な場合は、設定してから右上のSave settings for this modelをクリックし、続いてReload the Modelをクリックします。
   • 手動でGPTQパラメータを設定する必要はなく、しかも設定しないでください。これらはquantize_config.jsonファイルから自動的に設定されます。
9. 準備ができたら、Text Generationタブをクリックし、プロンプトを入力して開始します！

Text Generation Inference (TGI)からのモデルの提供

TGIバージョン1.1.0以降を使用することをおすすめします。公式のDockerコンテナはghcr.io/huggingface/text-generation-inference:1.1.0です。 例のDockerパラメータは次の通りです。

--model-id TheBloke/Nethena-20B-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

TGIとのインターフェース用の例のPythonコード（huggingface-hub 0.17.0以降が必要）は次の通りです。

pip3 install huggingface-hub

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"Model output: {response}")

🔧 技術詳細

このモデルは、GPTQ形式で量子化されています。GPTQは、大規模言語モデルを低ビット表現に量子化するための手法であり、VRAMの使用量を大幅に削減することができます。 量子化に使用されたデータセットはwikitextであり、これにより量子化精度が向上します。 また、複数の量子化パラメータのパーミュテーションが提供されており、ハードウェアと要件に合わせて最適なものを選択できます。

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。また、Llama 2をベースにしているため、Meta Llama 2のライセンス条項の対象となります。 ライセンスに関する詳細な質問、特にこれら2つのライセンスがどのように相互作用するかについては、元のモデルリポジトリ：NeverSleepのNethena 20Bに問い合わせてください。