Menlo Lucy GGUF

🚀 MenloによるLucyのLlamacpp imatrix量子化

このプロジェクトは、llama.cppのリリース b5924 を使用して、MenloによるLucyモデルの量子化を行っています。量子化には、ここからのデータセットを用いて、imatrixオプションを使用しています。

• 元のモデル: https://huggingface.co/Menlo/Lucy
• 実行環境: LM Studio で実行することができます。また、llama.cpp や他のllama.cppベースのプロジェクトで直接実行することも可能です。

🚀 クイックスタート

プロンプトフォーマット

チャットテンプレートは指定されていないため、デフォルトが使用されます。これが正しくない場合があるので、詳細は元のモデルカードを確認してください。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

ファイルのダウンロード

以下の表から特定のファイルを選択してダウンロードできます。

✨ 主な機能

• 量子化方式：llama.cpp のリリース b5924 を使用した量子化。
• データセット：ここ からのデータセットを用いたimatrixオプションによる量子化。
• 実行環境：LM Studio や llama.cpp での実行サポート。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Menlo_Lucy-GGUF --include "Menlo_Lucy-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Menlo_Lucy-GGUF --include "Menlo_Lucy-Q8_0/*" --local-dir ./

💻 使用例

基本的な使用法

プロンプトフォーマットは以下の通りです。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはARMおよびAVXマシンでのパフォーマンスを向上させるために、一度により多くのデータをロードすることでメモリ内でインターリーブされていました。

しかし、現在は「オンライン再パッキング」と呼ばれるものがあります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降では、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用に重みを再パッキングすることができ、現在は4_4のみですが、品質を少し向上させることができます。ロード時間は遅くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

🔧 技術詳細

量子化には llama.cpp のリリース b5924 を使用しています。また、特定のデータセットを用いてimatrixオプションで量子化を行っています。

📄 ライセンス

このREADMEにはライセンス情報が含まれていません。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成における支援に感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを提供してくれたことに感謝します。
• LM Studioには、私の作業を支援してくれたことに感謝します。

私の作業をサポートしたい場合は、こちらのko-fiページを訪問してください：https://ko-fi.com/bartowski