Opus V0 7B GGUF

🚀 Opus V0 7B - GGUF

このリポジトリは、自然言語処理の分野で使用されるOpus V0 7BモデルのGGUF形式のモデルファイルを提供しています。GGUF形式はモデルの推論や利用を効率的に行うために最適化されており、様々なクライアントやライブラリでの使用が可能です。

🚀 クイックスタート

このセクションでは、Opus V0 7B - GGUFモデルの基本的な使い方を説明します。まずは、モデルの概要を把握し、必要なファイルをダウンロードして、推論を実行するまでの流れを紹介します。

✨ 主な機能

• 多様なクライアントサポート: llama.cpp、text-generation-webui、KoboldCppなど、多くのクライアントやライブラリでの使用が可能です。
• 複数の量子化方法: Q2_K、Q3_K、Q4_Kなど、様々な量子化方法が提供されており、使用目的に応じて最適なモデルを選択できます。
• GPUサポート: GPUを利用した高速な推論が可能で、VRAMを使用することでRAMの使用量を削減できます。

📦 インストール

GGUFファイルのダウンロード方法

手動でダウンロードする場合は、通常はリポジトリ全体をクローンする必要はありません。以下のクライアントやライブラリを使用すると、自動的にモデルをダウンロードしてくれます。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webuiでのダウンロード方法

Download Modelの下にある入力欄に、モデルリポジトリ名 TheBloke/opus-v0-7B-GGUF と、ダウンロードしたいファイル名（例: opus-v0-7b.Q4_K_M.gguf）を入力し、Downloadをクリックします。

コマンドラインでのダウンロード方法

huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

次に、以下のコマンドで任意のモデルファイルを高速でダウンロードできます。

huggingface-cli download TheBloke/opus-v0-7B-GGUF opus-v0-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用例

基本的な使用法

llama.cppでの実行例

./main -ngl 32 -m opus-v0-7b.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<setting>\n{system_message}\n</setting>\n\n<instruction>\n{prompt}\n</instruction>"

• -ngl 32: GPUにオフロードするレイヤー数を指定します。GPUがない場合は削除します。
• -c 2048: シーケンス長を指定します。拡張シーケンスモデルの場合は、必要なRoPEスケーリングパラメータが自動的に設定されます。

高度な使用法

Pythonコードでの使用例

ctransformers ライブラリを使用して、このモデルをPythonコードからロードする方法を紹介します。

まず、必要なパッケージをインストールします。

# 基本的なctransformers（GPUアクセラレーションなし）
pip install ctransformers
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]
# またはAMD ROCm GPUアクセラレーション（Linuxのみ）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# またはmacOSシステムのみのMetal GPUアクセラレーション
CT_METAL=1 pip install ctransformers --no-binary ctransformers

次に、以下のコードでモデルをロードして推論を実行します。

from ctransformers import AutoModelForCausalLM

# gpu_layersを、GPUにオフロードするレイヤー数に設定します。システムでGPUアクセラレーションが利用できない場合は0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/opus-v0-7B-GGUF", model_file="opus-v0-7b.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)

print(llm("AI is going to"))

📚 ドキュメント

プロンプトテンプレート

<setting>
{system_message}
</setting>

<instruction>
{prompt}
</instruction>

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cpp（コミット d0cee0d 以降）と互換性があります。また、多くのサードパーティのUIやライブラリとも互換性があります。

量子化方法の説明

提供されるファイル

注意: 上記のRAMの数値は、GPUオフロードを行わない場合を想定しています。レイヤーをGPUにオフロードすると、RAMの使用量が減少し、代わりにVRAMが使用されます。

LangChainとの連携方法

llama-cpp-python と ctransformers をLangChainと連携する方法については、以下のガイドを参照してください。

• LangChain + llama-cpp-python
• LangChain + ctransformers

📄 ライセンス

このリポジトリのモデルファイルは、それぞれのオリジナルモデルのライセンスに従います。詳細については、各モデルのリポジトリを参照してください。

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordサーバーに参加してください。 TheBloke AI's Discord server

謝辞と貢献方法

chirper.ai チームに感謝します。 gpus.llm-utils.org のClayに感謝します。

多くの方から貢献の方法を尋ねられています。私はモデルを提供し、人々を助けることが好きで、もっと多くの時間を費やして、微調整やトレーニングなどの新しいプロジェクトにも取り組みたいと思っています。

もし貢献できる方がいらっしゃれば、大変感謝していただけます。これにより、より多くのモデルを提供し、新しいAIプロジェクトに取り組むことができます。

寄付者は、すべてのAI/LLM/モデルに関する質問やリクエストに対して優先的なサポートを受けることができ、プライベートなDiscordルームへのアクセス権や、その他の特典を享受できます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz。

Patreonでの特別な言及: Brandon Frisco、LangChain4j、Spiking Neurons AB、transmissions 11、Joseph William Delisle、Nitin Borwankar、Willem Michiel、Michael Dempsey、vamX、Jeffrey Morgan、zynix、jjj、Omer Bin Jawed、Sean Connelly、jinyuan sun、Jeromy Smith、Shadi、Pawan Osman、Chadd、Elijah Stavena、Illia Dulskyi、Sebastain Graf、Stephen Murray、terasurfer、Edmond Seymore、Celu Ramasamy、Mandus、Alex、biorpg、Ajan Kanaga、Clay Pascal、Raven Klaugh、阿明、K、ya boyyy、usrbinkat、Alicia Loh、John Villwock、ReadyPlayerEmma、Chris Smitley、Cap'n Zoog、fincy、GodLy、S_X、sidney chen、Cory Kujawski、OG、Mano Prime、AzureBlack、Pieter、Kalila、Spencer Kim、Tom X Nguyen、Stanislav Ovsiannikov、Michael Levine