Xlangai Jedi 7B 1080p GGUF

🚀 xlangaiによるJedi-7B-1080pのLlamacpp imatrix量子化

このプロジェクトでは、llama.cppライブラリを使用してJedi-7B-1080pモデルの量子化バージョンを提供しています。モデルの品質とリソース使用量のバランスを取るため、さまざまな量子化タイプを提供しており、さまざまなハードウェア構成に適しています。

メタデータ

🚀 クイックスタート

• llama.cppの使用: 量子化は、llama.cppのリリースb5524を使用して行われます。
• モデルの実行: 量子化されたモデルは、LM Studioで実行するか、llama.cppを直接使用するか、他のllama.cppベースのプロジェクトで実行できます。

✨ 特徴

• 複数の量子化タイプ: bf16、Q8_0、Q6_K_Lなど、幅広い量子化タイプを提供し、品質とリソース使用量のさまざまな要件を満たすことができます。
• オンライン再パッキング: 一部の量子化タイプは、重みのオンライン再パッキングをサポートしており、ARMおよびAVXマシンでのパフォーマンスを向上させることができます。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/xlangai_Jedi-7B-1080p-GGUF --include "xlangai_Jedi-7B-1080p-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/xlangai_Jedi-7B-1080p-GGUF --include "xlangai_Jedi-7B-1080p-Q8_0/*" --local-dir ./

💻 使用例

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

以下からファイル（ブランチ全体ではなく）をダウンロードします。

埋め込み/出力の重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、標準の量子化方法で、埋め込みと出力の重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVXに関する情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードすると、ARMおよびAVXマシンでのパフォーマンスを向上させるために、一度により多くのデータを読み込むことで、重みがメモリ内でインターリーブされました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、少し品質を向上させたい場合は、このPRのおかげでIQ4_NLを使用できます。これはARMの重みを再パッキングすることもできますが、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下でライセンスされています。

🔧 クレジット

• imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
• 埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。
• 私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したい場合は、こちらのko-fiページを訪問してください：https://ko-fi.com/bartowski