🚀 WizardCoder Python 13B V1.0 - GPTQ

このモデルは、コード生成タスクに特化した高性能な言語モデルです。WizardLMによって開発され、高い精度でコードを生成することができます。

🚀 クイックスタート

このセクションでは、WizardCoder-Python-13B-V1.0-GPTQモデルの基本的な使い方を説明します。

✨ 主な機能

• 高精度なコード生成: HumanEvalデータセットで0.64のpass@1を達成。
• 複数の量子化パラメータ: ハードウェアと要件に合わせて最適なパラメータを選択できます。
• 複数のモデル形式: GPTQ、GGUF、元の未量子化fp16モデルなど、様々な形式で利用可能。

📦 インストール

必要なパッケージのインストール

pip3 install transformers>=4.32.0 optimum>=1.12.0
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # CUDA 11.7の場合はcu117を使用

CodeLlamaモデルの場合

Transformers 4.33.0以上を使用する必要があります。

pip3 uninstall -y transformers
pip3 install git+https://github.com/huggingface/transformers.git

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/WizardCoder-Python-13B-V1.0-GPTQ"
# 別のブランチを使用する場合は、revisionを変更します
# 例: revision="main"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

📚 ドキュメント

説明

このリポジトリには、WizardLMのWizardCoder Python 13B V1.0のGPTQモデルファイルが含まれています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• GPU推論用のGPTQモデル（複数の量子化パラメータオプションあり）
• CPU+GPU推論用の2、3、4、5、6、8ビットGGUFモデル
• GPU推論とさらなる変換用のWizardLMの元の未量子化fp16モデル（pytorch形式）

プロンプトテンプレート: Alpaca

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

提供されているファイルとGPTQパラメータ

複数の量子化パラメータが提供されており、ハードウェアと要件に合わせて最適なものを選択できます。

各量子化は異なるブランチにあります。異なるブランチから取得する方法については、以下を参照してください。

最近のすべてのGPTQファイルはAutoGPTQで作成されており、メインブランチ以外のすべてのファイルもAutoGPTQで作成されています。2023年8月以前にアップロードされたmainブランチのファイルは、GPTQ-for-LLaMaで作成されています。

ブランチからのダウンロード方法

• text-generation-webuiでは、ダウンロード名の末尾に:ブランチを追加できます。例: TheBloke/WizardCoder-Python-13B-V1.0-GPTQ:main
• Gitを使用する場合は、以下のコマンドでブランチをクローンできます。

git clone --single-branch --branch main https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GPTQ

• Python Transformersコードでは、ブランチはrevisionパラメータで指定します。詳細は以下を参照してください。

text-generation-webuiでのダウンロードと使用方法

text-generation-webuiでこのモデルを簡単にダウンロードして使用する方法を説明します。

text-generation-webuiの最新バージョンを使用していることを確認してください。

手動でインストールする方法を知っている場合を除き、text-generation-webuiのワンクリックインストーラーを使用することを強くお勧めします。

1. モデルタブをクリックします。
2. カスタムモデルまたはLoRAをダウンロードの下に、TheBloke/WizardCoder-Python-13B-V1.0-GPTQを入力します。

• 特定のブランチからダウンロードする場合は、例えばTheBloke/WizardCoder-Python-13B-V1.0-GPTQ:mainのように入力します。
• 各オプションのブランチのリストについては、上記の提供されているファイルを参照してください。

3. ダウンロードをクリックします。
4. モデルのダウンロードが開始されます。完了すると「完了」と表示されます。
5. 左上のモデルの横にある更新アイコンをクリックします。
6. モデルのドロップダウンで、先ほどダウンロードしたモデルWizardCoder-Python-13B-V1.0-GPTQを選択します。
7. モデルが自動的にロードされ、使用可能になります！
8. カスタム設定が必要な場合は、設定してから右上のこのモデルの設定を保存をクリックし、続いてモデルを再読み込みをクリックします。

• 手動でGPTQパラメータを設定する必要はなく、しないでください。これらはquantize_config.jsonファイルから自動的に設定されます。

9. 準備ができたら、テキスト生成タブをクリックし、プロンプトを入力して始めましょう！

🔧 技術詳細

互換性

提供されているファイルは、Transformersを介してAutoGPTQと直接AutoGPTQを使用してテストされています。Occ4mのGPTQ-for-LLaMaフォークでも動作するはずです。

ExLlamaは4ビットのLlamaモデルと互換性があります。各ファイルの互換性については、上記の提供されているファイルの表を参照してください。

Huggingface Text Generation Inference (TGI)は、すべてのGPTQモデルと互換性があります。

📄 ライセンス

このモデルは、Llama2ライセンスの下で提供されています。

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下に参加してください。

TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.aiチームに感謝します！

gpus.llm-utils.orgのClayに感謝します！

多くの方から貢献の可否を尋ねられています。私はモデルを提供し、人々を助けることが好きで、それにもっと時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも取り組めるようになりたいと思っています。

貢献できる方は、大変感謝していただけます。これにより、より多くのモデルを提供し、新しいAIプロジェクトの作業を開始するのに役立ちます。

寄付者は、すべてのAI/LLM/モデルに関する質問やリクエストに対して優先的なサポートを受け、プライベートなDiscordルームへのアクセス権などの特典を受けることができます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz。

Patreonで特別に紹介する方: Alicia Loh、Stephen Murray、K、Ajan Kanaga、RoA、Magnesian、Deo Leter、Olakabola、Eugene Pentland、zynix、Deep Realms、Raymond Fosdick、Elijah Stavena、Iucharbius、Erik Bj√§reholt、Luis Javier Navarrete Lozano、Nicholas、theTransient、John Detwiler、alfie_i、knownsqashed、Mano Prime、Willem Michiel、Enrico Ros、LangChain4j、OG、Michael Dempsey、Pierre Kircher、Pedro Madruga、James Bentley、Thomas Belote、Luke @flexchar、Leonard Tan、Johann-Peter Hartmann、Illia Dulskyi、Fen Risland、Chadd、S_X、Jeff Scroggin、Ken Nordquist、Sean Connelly、Artur Olbinski、Swaroop Kallakuri、Jack West、Ai Maven、David Ziegler、Russ Johnson、transmissions 11、John Villwock、Alps Aficionado、Clay Pascal、Viktor Bowallius、Subspace Studios、Rainer Wilmers、Trenton Dambrowitz、vamX、Michael Levine、ϧÄ͵ê ÍπÄ、Brandon Frisco、Kalila、Trailburnt、Randy H、Talal Aujan、Nathan Dryer、Vadim、ÈòøÊòé、ReadyPlayerEmma、Tiffany J. Kim、George Stoitzev、Spencer Kim、Jerry Meng、Gabriel Tamborski、Cory Kujawski、Jeffrey Morgan、Spiking Neurons AB、Edmond Seymore、Alexandros Triantafyllidis、Lone Striker、Cap'n Zoog、Nikolai Manek、danny、ya boyyy、Derek Yates、usrbinkat、Mandus、TL、Nathan LeClaire、subjectnull、Imad Khwaja、webtim、Raven Klaugh、Asp the Wyvern、Gabriel Puliatti、Caitlyn Gatomon、Joseph William Delisle、Jonathan Leane、Luke Pendergrass、SuperWojo、Sebastain Graf、Will Dee、Fred von Graf、Andrey、Dan Guido、Daniel P. Andersen、Nitin Borwankar、Elle、Vitor Caleffi、biorpg、jjj、NimbleBox.ai、Pieter、Matthew Berman、terasurfer、Michael Davis、Alex、Stanislav Ovsiannikov

すべての寛大なパトロンと寄付者の皆様に感謝します！

そして、a16zにも再度感謝します。

元のモデルカード: WizardLMのWizardCoder Python 13B V1.0

ü§ó HFリポジトリ ‚Ä¢üê± Githubリポジトリ ‚Ä¢ üê¶ Twitter ‚Ä¢ üìÉ [WizardLM] ‚Ä¢ üìÉ [WizardCoder] ‚Ä¢ üìÉ [WizardMath]

üëã Discordに参加する

ニュース

• üî•üî•üî•[2023/08/26] WizardCoder-Python-34B-V1.0をリリースしました。このモデルは、HumanEvalベンチマークで73.2 pass@1を達成し、GPT4 (2023/03/15)、ChatGPT-3.5、Claude2を上回りました。
• [2023/06/16] WizardCoder-15B-V1.0をリリースしました。このモデルは、HumanEvalベンチマークで57.3 pass@1を達成し、Claude-Plus (+6.8)、Bard (+15.3)、**InstructCodeT5+ (+22.3)**を上回りました。

‚ùó注: GPT4とChatGPT-3.5には2つのHumanEval結果があります。67.0と48.1は、OpenAIの公式GPT4レポート(2023/03/15)で報告されています。82.0と72.5は、最新のAPI(2023/08/26)で独自にテストした結果です。

• 私たちのWizardMath-70B-V1.0モデルは、GSM8KでいくつかのクローズドソースのLLMを僅かに上回っています。これには、ChatGPT 3.5、Claude Instant 1、PaLM 2 540Bが含まれます。
• 私たちのWizardMath-70B-V1.0モデルは、GSM8kベンチマークで81.6 pass@1を達成し、SOTAのオープンソースLLMよりも24.8ポイント高く、MATHベンチマークで22.7 pass@1を達成し、SOTAのオープンソースLLMよりも9.2ポイント高い結果を得ています。