EXAONE 3.5 32B Instruct GGUF

🚀 EXAONE-3.5-32B-InstructのLlamacpp imatrix量子化

EXAONE-3.5-32B-Instructの量子化モデルに関する情報です。この量子化には、llama.cppのリリース b4273 を使用しています。

🚀 クイックスタート

• 元のモデル: LGAI-EXAONE/EXAONE-3.5-32B-Instruct
• すべての量子化モデルは、こちら のデータセットを使用して、imatrixオプションで作成されています。
• これらのモデルは LM Studio で実行できます。

✨ 主な機能

• 様々な量子化タイプのモデルを提供し、ユーザーのハードウェア環境に合わせて選択できます。
• 一部の量子化モデルは、埋め込みと出力の重みをQ8_0に量子化しており、品質が向上しています。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定できます。

huggingface-cli download bartowski/EXAONE-3.5-32B-Instruct-GGUF --include "EXAONE-3.5-32B-Instruct-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/EXAONE-3.5-32B-Instruct-GGUF --include "EXAONE-3.5-32B-Instruct-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリ (./) にダウンロードすることができます。

💻 使用例

プロンプトフォーマット

[|system|]{system_prompt}[|endofturn|]
[|user|]{prompt}
[|assistant|]

ダウンロード可能なファイル一覧

📚 ドキュメント

埋め込み/出力の重み

一部の量子化モデル (Q3_K_XL、Q4_K_Lなど) は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルト値ではなく、Q8_0に量子化されています。

Q4_0_X_Xに関する情報

新機能: このPR で行われた重みのオンライン再パッキングの努力により、llama.cppがARMデバイス用にコンパイルされている場合、Q4_0を使用できるようになりました。 同様に、少しパフォーマンスを向上させたい場合は、このPR により、ARM用に重みを再パッキングするIQ4_NLを使用できます (現時点では4_4のみ)。読み込み時間は遅くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

📄 ライセンス

このプロジェクトは EXAONEライセンス の下で提供されています。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。 埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。 私の仕事をサポートしたい場合は、こちら のko-fiページを訪問してください。