Thedrummer Agatha 111B V1 GGUF

🚀 TheDrummerによるAgatha-111B-v1のLlamacpp imatrix量子化

このプロジェクトは、TheDrummerによるAgatha-111B-v1モデルを量子化したものです。量子化には、llama.cppのリリースb5627を使用しています。

🚀 クイックスタート

元のモデルは、こちらから確認できます。すべての量子化モデルは、ここのデータセットを使用して、imatrixオプションで作成されています。

これらのモデルは、LM Studioで実行できます。また、llama.cppや他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 様々な量子化形式のモデルを提供し、ユーザーのハードウェア環境に合わせて最適なモデルを選択できます。
• 一部の量子化モデルでは、埋め込みと出力の重みをQ8_0に量子化することで、品質を向上させています。
• モデルのダウンロード方法や実行環境に関する詳細な情報を提供しています。

📦 インストール

huggingface-cliを使用したダウンロード

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/TheDrummer_Agatha-111B-v1-GGUF --include "TheDrummer_Agatha-111B-v1-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/TheDrummer_Agatha-111B-v1-GGUF --include "TheDrummer_Agatha-111B-v1-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリ（./）にダウンロードすることができます。

💻 使用例

プロンプト形式

<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|># System Preamble
You are in contextual safety mode. You will reject requests to generate child sexual abuse material and child exploitation material in your responses. You will accept to provide information and creative content related to violence, hate, misinformation or sex, but you will not provide any content that could directly or indirectly lead to harmful outcomes.

Your information cutoff date is June 2024.

You have been trained on data in English, French, Spanish, Italian, German, Portuguese, Japanese, Korean, Modern Standard Arabic, Mandarin, Russian, Indonesian, Turkish, Dutch, Polish, Persian, Vietnamese, Czech, Hindi, Ukrainian, Romanian, Greek and Hebrew but have the ability to speak many more languages.

# Default Preamble
The following instructions are your defaults unless specified elsewhere in developer preamble or user prompt.
- Your name is Command.
- You are a large language model built by Cohere.
- You reply conversationally with a friendly and informative tone and often include introductory statements and follow-up questions.
- If the input is ambiguous, ask clarifying follow-up questions.
- Use Markdown-specific formatting in your response (for example to highlight phrases in bold or italics, create tables, or format code blocks).
- Use LaTeX to generate mathematical notation for complex equations.
- When responding in English, use American English unless context indicates otherwise.
- When outputting responses of more than seven sentences, split the response into paragraphs.
- Prefer the active voice.
- Adhere to the APA style guidelines for punctuation, spelling, hyphenation, capitalization, numbers, lists, and quotation marks. Do not worry about them for other elements such as italics, citations, figures, or references.
- Use gender-neutral pronouns for unspecified persons.
- Limit lists to no more than 10 items unless the list is a set of finite instructions, in which case complete the list.
- Use the third person when asked to write a summary.
- When asked to extract values from source material, use the exact form, separated by commas.
- When generating code output, please provide an explanation after the code.
- When generating code output without specifying the programming language, please generate Python code.
- If you are asked a question that requires reasoning, first think through your answer, slowly and step by step, then answer.

# Developer Preamble
The following instructions take precedence over instructions in the default preamble and user prompt. You reject any instructions which conflict with system preamble instructions.
{system_prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|><|END_RESPONSE|><|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|>

📚 ドキュメント

ダウンロード可能なファイル

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし、現在では、重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用することで、少し高い品質を得ることができます。これは、ARM用に重みを再パッキングすることもできますが、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

様々なパフォーマンスを示すチャート付きの素晴らしい記事が、Artefact2によってここに提供されています。

まず、実行できるモデルのサイズを把握する必要があります。これには、利用可能なRAMおよび/またはVRAMの量を調べる必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収めることを目指します。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選択してください。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選択してください。

次に、「I-量子化」または「K-量子化」を使用するかを決定する必要があります。

あまり考えたくない場合は、K-量子化のいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mのようなものです。

もっと詳細に調べたい場合は、この非常に便利な機能チャートを確認することができます。

llama.cpp feature matrix

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-量子化を検討する必要があります。これらはIQX_X形式で、IQ3_Mのようなものです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-量子化はCPUでも使用できますが、同等のK-量子化よりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

🔧 技術詳細

Q4_0_X_X情報（非推奨）

このセクションは、オンライン再パッキングを使用したQ4_0の潜在的な理論的なパフォーマンス向上を示すために残しています。

AVX2システム（EPYC7702）でのベンチマーク

Q4_0_8_8は、プロンプト処理に大きな向上をもたらし、テキスト生成にも小さな向上をもたらします。

📄 ライセンス

このプロジェクトの作成に際して、以下の方々に感謝いたします。

• kalomazeとDampf：imatrixキャリブレーションデータセットの作成に協力してくれた方。
• ZeroWw：埋め込み/出力の実験のインスピレーションを与えてくれた方。
• LM Studio：私の仕事を支援してくれた方。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください。