BAAI RoboBrain2.0 7B GGUF

🚀 BAAIによるRoboBrain2.0-7BのLlamacpp imatrix量子化

このプロジェクトは、BAAIのRoboBrain2.0-7Bモデルを量子化したものです。量子化には、llama.cppのリリースb5596を使用しています。

🚀 クイックスタート

本プロジェクトの量子化モデルは、LM Studioで直接実行することができます。また、llama.cppやその他のllama.cppベースのプロジェクトでも実行可能です。

✨ 主な機能

• 多様な量子化形式：bf16、Q8_0、Q6_K_Lなど、様々な量子化形式が用意されており、ユーザーのニーズに合わせて選択できます。
• 高速な推論：量子化により、モデルのサイズが大幅に削減され、推論速度が向上します。
• 柔軟な実行環境：LM Studioやllama.cppなど、複数の実行環境で利用できます。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliをインストールします。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/BAAI_RoboBrain2.0-7B-GGUF --include "BAAI_RoboBrain2.0-7B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/BAAI_RoboBrain2.0-7B-GGUF --include "BAAI_RoboBrain2.0-7B-Q8_0/*" --local-dir ./

💻 使用例

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ダウンロードファイルの選択

ARM/AVXに関する情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし、現在では重みの「オンライン再パック」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パックによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、ARM用に重みを再パックするIQ4_NLを使用することで、少し質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

エンベッド/出力重み

一部の量子化形式（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、エンベッディングと出力重みが通常のデフォルト値ではなくQ8_0に量子化されています。

ダウンロードファイル一覧

🔧 技術詳細

量子化には、llama.cppのリリースb5596を使用しています。すべての量子化は、ここのデータセットを使用してimatrixオプションで作成されています。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

エンベッド/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください。