Mistral NeMo Minitron 8B Base IMat GGUF

🚀 Mistral-NeMo-Minitron-8B-Base-IMat-GGUF

このプロジェクトは、nvidia/Mistral-NeMo-Minitron-8B-Baseモデルをllama.cpp imatrixで量子化した成果物です。モデルの使用とデプロイにより多くの選択肢を提供します。

🚀 クイックスタート

モデル情報

オリジナルモデル情報

• オリジナルモデル：nvidia/Mistral-NeMo-Minitron-8B-Base
• オリジナルデータタイプ：BF16 (bfloat16)
• 量子化ツール：llama.cpp b3613
• IMatrixデータセット：クリックして表示

ドキュメント目次

• ファイル情報
  • IMatrixファイル
  • 一般的な量子化ファイル
  • すべての量子化ファイル
• huggingface-cliを使用してモデルをダウンロードする
• 推論の使用方法
  • Llama.cppを使用した推論
• よくある質問
  • IMatrixがすべての箇所に適用されていないのはなぜですか？
  • 分割されたGGUFファイルをどのように結合するか？

📦 ファイル情報

IMatrix

• 状態：✅ 利用可能
• リンク：クリックして表示

一般的な量子化ファイル

すべての量子化ファイル

📦 インストール

huggingface-cliを使用してモデルをダウンロードする

huggingface-cliのインストール

huggingface-cliをまだインストールしていない場合は、以下のコマンドを使用してインストールできます。

pip install -U "huggingface_hub[cli]"

指定ファイルのダウンロード

以下のコマンドを使用して、必要な特定のファイルをダウンロードします。

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf" --local-dir ./

分割ファイルのダウンロード

モデルファイルが大きく、複数のファイルに分割されている場合は、以下のコマンドを使用してすべてのファイルをローカルフォルダにダウンロードできます。

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0/*" --local-dir ./
# GGUFファイルを結合する方法は、よくある質問を参照してください。

💻 使用例

Llama.cppを使用した推論

llama.cpp/main -m Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf --color -i -p "prompt here"

📚 ドキュメント

よくある質問

IMatrixがすべての箇所に適用されていないのはなぜですか？

この調査によると、低い量子化レベルのみがimatrix入力から恩恵を受けるようです（hellaswagの結果に基づく）。

分割されたGGUFファイルをどのように結合するか？

1. gguf-splitツールを取得していることを確認します。
   • https://github.com/ggerganov/llama.cpp/releases にアクセスします。
   • 最新バージョンから、あなたのシステムに適したzipファイルをダウンロードします。
   • ファイルを解凍すると、gguf-splitツールが見つかるはずです。
2. GGUFファイルブロックがあるフォルダを見つけます（例：Mistral-NeMo-Minitron-8B-Base.Q8_0）。
3. 以下のコマンドを実行してファイルを結合します。

gguf-split --merge Mistral-NeMo-Minitron-8B-Base.Q8_0/Mistral-NeMo-Minitron-8B-Base.Q8_0-00001-of-XXXXX.gguf Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf

gguf-splitが分割ファイルの最初のブロックを指すようにしてください。

何か提案があれば、@legraphista までご連絡ください！