Manticore 13b Chat Pyg GGUF

🚀 Manticore 13B Chat Pyg

本プロジェクトでは、Manticore 13B Chat Pyg モデルの GGUF 形式のファイルを提供しており、ユーザーがテキスト生成に関連する推論タスクを行いやすくなっています。このモデルは特定のデータセットを基に訓練されており、様々なクライアントやライブラリで良好にサポートされています。

🚀 クイックスタート

このリポジトリには、Open Access AI Collective の Manticore 13B Chat Pyg モデルの GGUF 形式のファイルが含まれています。

✨ 主な機能

• 新形式のサポート：2023 年 8 月 21 日に llama.cpp チームが導入した新しい GGUF 形式を採用し、サポートが終了した GGML 形式に代わります。
• 多くのクライアントと互換性：llama.cpp、text-generation-webui、KoboldCpp など、多数のクライアントやライブラリと互換性があり、さまざまなユーザーのニーズに対応します。
• 複数の量子化方法：複数の量子化方法を提供しており、使用シーンやハードウェア条件に応じて適切な量子化ファイルを選択でき、モデルのサイズと品質のバランスを取ることができます。

📦 インストール

GGUF ファイルのダウンロード

• 自動ダウンロード：LM Studio、LoLLMS Web UI、Faraday.dev などのクライアント/ライブラリは、自動的にモデルをダウンロードし、利用可能なモデルのリストを表示します。
• text-generation-webui でのダウンロード：Download Model の下で、モデルのリポジトリアドレス TheBloke/manticore-13b-chat-pyg-GGUF と、具体的にダウンロードするファイル名（例：manticore-13b-chat-pyg.Q4_K_M.gguf）を入力し、Download をクリックします。
• コマンドラインでのダウンロード：huggingface-hub Python ライブラリを使用することをおすすめします。

  pip3 install huggingface-hub
  

  単一のモデルファイルを現在のディレクトリにダウンロードするには、以下のコマンドを使用します。

  huggingface-cli download TheBloke/manticore-13b-chat-pyg-GGUF manticore-13b-chat-pyg.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False
  

  複数のファイルを同時にダウンロードするには、パターンマッチングを使用します。

  huggingface-cli download TheBloke/manticore-13b-chat-pyg-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'
  

  高速接続（1Gbit/s 以上）でのダウンロードを高速化するには、hf_transfer をインストールします。

  pip3 install hf_transfer
  

  そして、環境変数 HF_HUB_ENABLE_HF_TRANSFER を 1 に設定します。

  HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/manticore-13b-chat-pyg-GGUF manticore-13b-chat-pyg.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False
  

  Windows コマンドラインユーザーは、ダウンロードコマンドの前に set HF_HUB_ENABLE_HF_TRANSFER=1 を実行して環境変数を設定します。

💻 使用例

基本的な使用法

llama.cpp コマンドの例

d0cee0d 以降のバージョンの llama.cpp を使用してください。

./main -ngl 32 -m manticore-13b-chat-pyg.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {prompt} ASSISTANT:"

• -ngl 32：GPU にオフロードするレイヤー数に変更します。GPU 加速がない場合は、このパラメーターを削除します。
• -c 2048：必要なシーケンス長に変更します。拡張シーケンスモデル（8K、16K、32K など）の場合、必要な RoPE スケーリングパラメーターは GGUF ファイルから読み取られ、llama.cpp によって自動的に設定されます。
• チャット形式の対話を行う場合は、-p <PROMPT> パラメーターを -i -ins に置き換えます。 その他のパラメーターと使用方法については、llama.cpp ドキュメント を参照してください。

text-generation-webui での実行

詳細な説明は、text-generation-webui/docs/llama.cpp.md を参照してください。

Python コードからの実行

llama-cpp-python または ctransformers ライブラリを使用して、Python から GGUF モデルを使用できます。

ctransformers を使用したモデルの読み込み

まず、システムに応じて以下のコマンドのいずれかを実行してパッケージをインストールします。

# GPU 加速なしの基本的な ctransformers
pip install ctransformers
# または CUDA GPU 加速を使用
pip install ctransformers[cuda]
# または AMD ROCm GPU 加速を使用（Linux のみ）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# または macOS システムの Metal GPU 加速を使用
CT_METAL=1 pip install ctransformers --no-binary ctransformers

簡単な ctransformers のサンプルコード：

from ctransformers import AutoModelForCausalLM

# gpu_layers を GPU にオフロードするレイヤー数に設定します。システムに GPU 加速がない場合は 0 に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/manticore-13b-chat-pyg-GGUF", model_file="manticore-13b-chat-pyg.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

高度な使用法

LangChain との組み合わせ

以下は、llama-cpp-python と ctransformers を LangChain と組み合わせるガイドです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

📚 ドキュメント

GGUF について

GGUF は、2023 年 8 月 21 日に llama.cpp チームが導入した新しい形式で、llama.cpp でサポートされなくなった GGML 形式に代わります。

GGUF をサポートする既知のクライアントとライブラリの不完全なリストは以下の通りです。

• llama.cpp：GGUF のソースプロジェクトで、CLI とサーバーオプションを提供します。
• text-generation-webui：最も広く使用されている Web UI で、多くの機能と強力な拡張機能を備え、GPU 加速をサポートしています。
• KoboldCpp：機能豊富な Web UI で、すべてのプラットフォームと GPU アーキテクチャでの GPU 加速をサポートしており、特にストーリーテリングに適しています。
• LM Studio：Windows と macOS（Silicon）に適した使いやすく強力なローカル GUI で、GPU 加速をサポートしています。
• LoLLMS Web UI：多くの面白く独特な機能を備えた素晴らしい Web UI で、完全なモデルライブラリを含み、モデルの選択が容易です。
• Faraday.dev：魅力的で使いやすいロールベースのチャット GUI で、Windows と macOS（Silicon と Intel）に対応し、GPU 加速をサポートしています。
• ctransformers：GPU 加速、LangChain、OpenAI 互換の AI サーバーをサポートする Python ライブラリです。
• llama-cpp-python：GPU 加速、LangChain、OpenAI 互換の API サーバーをサポートする Python ライブラリです。
• candle：パフォーマンスに重点を置いた Rust ML フレームワークで、GPU サポートを備え、使いやすいです。

利用可能なリポジトリ

• GPU 推論用の AWQ モデル。
• 複数の量子化パラメーターオプションを持つ GPU 推論用の GPTQ モデル。
• CPU+GPU 推論用の 2、3、4、5、6、および 8 ビットの GGUF モデル。
• GPU 推論とさらなる変換用の Open Access AI Collective の元の未量子化の fp16 形式の PyTorch モデル。

プロンプトテンプレート

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {prompt} ASSISTANT:

互換性

これらの量子化された GGUFv2 ファイルは、2023 年 8 月 27 日以降の llama.cpp バージョンと互換性があり、対応するコミットは d0cee0d です。

また、多くのサードパーティの UI やライブラリとも互換性があります - この README の上部のリストを参照してください。

量子化方法の説明

提供されるファイル

注意：上記の RAM の数値は、GPU オフロードがないことを前提としています。レイヤーを GPU にオフロードすると、これにより RAM 使用量が減少し、代わりに VRAM が使用されます。

🔧 技術詳細

モデルの訓練

Manticore 13B Chat は、Llama 13B モデルを以下のデータセットでファインチューニングしたもので、元の Manticore 13B のデータセットも含まれています。

Manticore 13B Chat は、以下のデータセットの 25% で訓練されています。これらのデータセットは、結合、シャッフルされ、4 つの部分に分割されます。

• 重複を削除した Pygmalion データセット。ロールプレイング（RP）データにフィルタリングされています。
• riddle_sense - 命令強化
• hellaswag。詳細な説明を含むように更新され、30K 行以上になっています。
• gsm8k - 命令強化
• ewof/code-alpaca-instruct-unfiltered

Manticore 13B

• ShareGPT - クリーニングと重複削除されたサブセットに基づく
• WizardLM
• Wizard-Vicuna
• QingyiSi/Alpaca-CoT のロールプレイングと思考連鎖（CoT）用のサブセット
• GPT4-LLM-Cleaned
• GPTeacher-General-Instruct
• ARC-Easy と ARC-Challenge - 詳細な応答を得るために命令強化されており、train 分割に由来します。
• hellaswag - 5K 行のサブセット。簡潔な応答を得るために命令強化されており、train 分割に由来します。
• metaeval/ScienceQA_text_only - 命令強化

📄 ライセンス

このプロジェクトは、他のライセンスを使用しています。

その他の情報

Discord

さらなるサポートや、これらのモデルと一般的な AI に関する議論に参加するには、TheBloke AI の Discord サーバー に参加してください。

感謝と貢献

chirper.ai チームに感謝します！

gpus.llm-utils.org の Clay に感謝します！

多くの人から貢献の可否を尋ねられています。私はモデルを提供し、他人を助けることが好きで、これらのことにもっと時間を費やし、ファインチューニング/トレーニングなどの新しいプロジェクトにも展開したいと思っています。

貢献できる能力と意欲がある場合は、大いに感謝します。これにより、私がさらに多くのモデルを提供し、新しい AI プロジェクトを開始するのに役立ちます。

寄付者は、AI/LLM/モデルに関するすべての質問やリクエストに対して優先的なサポートを受け、プライベートな Discord ルームへのアクセスや、その他の特典を享受できます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝：Aemon Algiz。

Patreon での特別な言及：Alicia Loh、Stephen Murray、K、Ajan Kanaga、RoA、Magnesian、Deo Leter、Olakabola、Eugene Pentland、zynix、Deep Realms、Raymond Fosdick、Elijah Stavena、Iucharbius、Erik Bjäreholt、Luis Javier Navarrete Lozano、Nicholas、theTransient、John Detwiler、alfie_i、knownsqashed、Mano Prime、Willem Michiel、Enrico Ros、LangChain4j、OG、Michael Dempsey、Pierre Kircher、Pedro Madruga、James Bentley、Thomas Belote、Luke @flexchar、Leonard Tan、Johann-Peter Hartmann、Illia Dulskyi、Fen Risland、Chadd、S_X、Jeff Scroggin、Ken Nordquist、Sean Connelly、Artur Olbinski、Swaroop Kallakuri、Jack West、Ai Maven、David Ziegler、Russ Johnson、transmissions 11、John Villwock、Alps Aficionado、Clay Pascal、Viktor Bowallius、Subspace Studios、Rainer Wilmers、Trenton Dambrowitz、vamX、Michael Levine、준교 김、Brandon Frisco、Kalila、Trailburnt、Randy H、Talal Aujan、Nathan Dryer、Vadim、阿明、ReadyPlayerEmma、Tiffany J. Kim、George Stoitzev、Spencer Kim、Jerry Meng、Gabriel Tamborski、Cory Kujawski、Jeffrey Morgan、Spiking Neurons AB、Edmond Seymore、Alexandros Triantafyllidis、Lone Striker、Cap'n Zoog、Nikolai Manek、danny、ya boyyy、Derek Yates、usrbinkat、Mandus、TL、Nathan LeClaire、subjectnull、Imad Khwaja、webtim、Raven Klaugh、Asp the Wyvern、Gabriel Puliatti、Caitlyn Gatomon、Joseph William Delisle、Jonathan Leane、Luke Pendergrass、SuperWojo、Sebastain Graf、Will Dee、Fred von Graf、Andrey、Dan Guido、Daniel P. Andersen、Nitin Borwankar、Elle、Vitor Caleffi、biorpg、jjj、NimbleBox.ai、Pieter、Matthew Berman、terasurfer、Michael Davis、Alex、Stanislav Ovsiannikov

すべての寛大なスポンサーと寄付者に感謝します！

再び、a16z の寛大な支援に感謝します。