Menlo Lucy 128k GGUF

🚀 MenloによるLucy-128kのLlamacpp imatrix量子化

このプロジェクトは、MenloによるLucy-128kモデルの量子化バージョンを提供します。量子化にはllama.cppを使用し、様々な量子化タイプのファイルを用意しています。

quantized_by: bartowski pipeline_tag: テキスト生成 base_model: Menlo/Lucy-128k base_model_relation: 量子化済み

🚀 クイックスタート

量子化には、llama.cppのリリース b5924 を使用しています。 元のモデルはこちらです: https://huggingface.co/Menlo/Lucy-128k

すべての量子化ファイルは、ここ のデータセットを使用し、imatrixオプションで作成されています。

実行方法

• LM Studio で実行できます。
• llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 様々な量子化タイプの選択肢を提供し、メモリ使用量とパフォーマンスを最適化することができます。
• 特定の量子化タイプでは、埋め込みと出力の重みをQ8_0に量子化することで、品質を向上させています。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliをインストールします。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定します。

huggingface-cli download bartowski/Menlo_Lucy-128k-GGUF --include "Menlo_Lucy-128k-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/Menlo_Lucy-128k-GGUF --include "Menlo_Lucy-128k-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリ (./) にすべてダウンロードすることができます。

💻 使用例

プロンプトフォーマット

チャットテンプレートは指定されていないため、デフォルトが使用されます。これが正しくない場合があるので、元のモデルカードを確認してください。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ファイルのダウンロード

以下の表から、ダウンロードするファイルを選択できます。

埋め込み/出力重み

一部の量子化 (Q3_K_XL、Q4_K_Lなど) は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、重みをメモリ内でインターリーブしていました。

しかし、現在は重みの「オンライン再パッキング」という機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降では、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、ARM用の重みを再パッキングするIQ4_NLを使用することで、少し品質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

🔧 技術詳細

量子化には、llama.cpp のリリース b5924 を使用しています。すべての量子化ファイルは、ここ のデータセットを使用し、imatrixオプションで作成されています。

📄 ライセンス

このプロジェクトに関するライセンス情報は提供されていません。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。 埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。 私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したい場合は、こちらのko-fiページを訪問してください: https://ko-fi.com/bartowski