Arcee Ai Virtuoso Small V2 GGUF

🚀 Arcee-aiのVirtuoso-Small-v2のLlamacpp imatrix量子化バージョン

本プロジェクトでは、llama.cppを用いてarcee-ai/Virtuoso-Small-v2モデルを量子化したバージョンを提供しています。特定の量子化方法により、異なるタイプとサイズの量子化モデルファイルを生成し、様々なハードウェアと性能要件を満たすことができます。

🚀 クイックスタート

これらの量子化モデルは、以下の2つの方法で実行できます。

• LM Studio で実行する。
• llama.cpp またはllama.cppベースのプロジェクトを直接使用して実行する。

✨ 主な機能

• 多様な量子化タイプ：f32、f16、Q8_0、Q6_K_Lなど、豊富な量子化タイプを提供し、さまざまな品質と性能要件を満たします。
• オンライン再パッケージ化：一部の量子化モデルはオンライン再パッケージ化に対応しており、ARMおよびAVXマシンで自動的に性能を最適化できます。
• 明確なプロンプト形式：モデルのプロンプト形式が明確に定義されており、使用が容易です。

📦 インストール

huggingface-cliのインストール

まず、huggingface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

特定のファイルのダウンロード

ダウンロードする特定のファイルを指定できます。

huggingface-cli download bartowski/arcee-ai_Virtuoso-Small-v2-GGUF --include "arcee-ai_Virtuoso-Small-v2-Q4_K_M.gguf" --local-dir ./

分割ファイルのダウンロード

モデルが50GBを超える場合、複数のファイルに分割されます。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/arcee-ai_Virtuoso-Small-v2-GGUF --include "arcee-ai_Virtuoso-Small-v2-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（例：arcee-ai_Virtuoso-Small-v2-Q8_0）を指定することも、現在のディレクトリ（./）にすべてダウンロードすることもできます。

💻 使用例

基本的な使用法

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ダウンロードファイルの選択

埋め込み/出力重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）では、標準的な量子化方法を採用し、埋め込みと出力重みをデフォルト値ではなくQ8_0に量子化しています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのモデルの重みはメモリ内で交差配置され、ARMおよびAVXマシンで一度により多くのデータをロードすることで性能を向上させていました。

現在では、いわゆる「オンライン再パッケージ化」重みがあります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッケージ化から恩恵を受ける場合、自動的にリアルタイムで実行されます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行できなくなり、Q4_0を使用する必要があります。

また、少し良い品質を得たい場合は、IQ4_NLを使用できます。 このPR のおかげで、ARM用に重みを再パッケージ化することもできますが、現在は4_4のみサポートされています。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

適切なファイルの選択

🔧 技術詳細

量子化方法

量子化には、llama.cppのリリースバージョン b4585 を使用しています。すべての量子化バージョンはimatrixオプションを使用し、ここ のデータセットを使用しています。

オンライン再パッケージ化

Q4_0量子化バージョンでは、ARMおよびAVXマシンでの性能を向上させるために、オンラインで重みを再パッケージ化することができます。詳細は このPR を参照してください。

性能比較

📄 ライセンス

本プロジェクトは、Apache 2.0ライセンスを採用しています。

謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成を支援してくれたことに感謝します。

ZeroWwが埋め込み/出力実験のインスピレーションを提供してくれたことに感謝します。

LM Studioが私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、私のko - fiページにアクセスしてください：https://ko-fi.com/bartowski