Akhil Theerthala Kuvera 8B V0.1.0 GGUF

🚀 Akhil-TheerthalaによるKuvera-8B-v0.1.0のLlamacpp imatrix量子化

このプロジェクトは、Akhil-TheerthalaによるKuvera-8B-v0.1.0モデルの量子化バージョンを提供します。量子化には、llama.cppのリリースb5596を使用しています。

🚀 クイックスタート

モデルの実行

• LM Studioを使用して、量子化されたモデルを実行できます。
• llama.cppや他のllama.cppベースのプロジェクトで直接実行することもできます。

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

✨ 主な機能

• 金融や個人金融に関するテキスト生成に特化したモデルです。
• 様々な量子化タイプが提供されており、メモリ使用量と性能のバランスを調整できます。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、次のコマンドを使用します。

huggingface-cli download bartowski/Akhil-Theerthala_Kuvera-8B-v0.1.0-GGUF --include "Akhil-Theerthala_Kuvera-8B-v0.1.0-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/Akhil-Theerthala_Kuvera-8B-v0.1.0-GGUF --include "Akhil-Theerthala_Kuvera-8B-v0.1.0-Q8_0/*" --local-dir ./

💻 使用例

モデルの選択

どのファイルを選択すべきかについては、以下の点を考慮してください。

• まず、実行可能なモデルのサイズを決定するために、利用可能なRAMとVRAMの量を確認します。
• できるだけ高速にモデルを実行したい場合は、GPUのVRAMに全体を収めることを目指します。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選択します。
• 最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選択します。
• 'I-quant' または 'K-quant' を使用するかを決定します。あまり深く考えたくない場合は、K-quantを選択します。より詳細な設定を行いたい場合は、llama.cpp feature matrixを参照してください。

ダウンロード可能なファイル一覧

📚 ドキュメント

埋め込み/出力重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用しており、埋め込みと出力重みが通常のデフォルト値ではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。現在では、「オンライン再パッキング」と呼ばれる機能が導入されています。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングに適している場合、自動的に実行されます。

llama.cppビルドb4282以降では、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。また、このPRにより、IQ4_NLを使用することで、ARM用の重みを再パッキングし、少し品質を向上させることができます。ただし、ロード時間が長くなる可能性がありますが、全体的な速度が向上します。

🔧 技術詳細

• 量子化には、llama.cppのリリースb5596を使用しています。
• すべての量子化モデルは、ここのデータセットを使用してimatrixオプションで作成されています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを提供してくれたことに感謝します。
• LM Studioには、私の作業を支援してくれたことに感謝します。

私の作業を支援したい場合は、こちらのko-fiページをご訪問ください：https://ko-fi.com/bartowski