Menlo Jan Nano GGUF

🚀 MenloによるJan - nanoのLlamacpp imatrix量子化

このプロジェクトは、MenloのJan - nanoモデルを量子化したものです。量子化にはllama.cppを使用しており、特定のバージョンとデータセットを利用しています。また、モデルの実行方法やダウンロード方法、各量子化ファイルの詳細についても説明しています。

🚀 クイックスタート

• 量子化には、llama.cppのリリース版 b5627 を使用しています。
• オリジナルモデルは、[こちら](https://huggingface.co/Menlo/Jan - nano) です。
• すべての量子化ファイルは、ここ のデータセットを使用し、imatrixオプションで作成されています。
• モデルは LM Studio で実行できます。
• また、llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

</think>

ファイルダウンロード

以下の表から、必要なファイルを選択してダウンロードできます。

埋め込み/出力ウェイト

一部の量子化ファイル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用していますが、埋め込みと出力ウェイトは通常のデフォルト値ではなく、Q8_0に量子化されています。

📦 インストール

huggingface - cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Menlo_Jan - nano - GGUF --include "Menlo_Jan - nano - Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Menlo_Jan - nano - GGUF --include "Menlo_Jan - nano - Q8_0/*" --local-dir ./

🔧 技術詳細

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、ウェイトをメモリ内でインターリーブしていました。

しかし、現在はウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用にウェイトを再パッキングすることができます（現在は4_4のみ）。ロード時間が遅くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選ぶべきか？

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを与えてくれたことに感謝します。
• LM Studioには、私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、こちら のko - fiページを訪れてください。