Nxcode CQ 7B Orpo IMat GGUF

🚀 Nxcode-CQ-7B-orpo-IMat-GGUF

NTQAI/Nxcode-CQ-7B-orpo の Llama.cpp imatrix 量子化モデル

このモデルは、NTQAI/Nxcode-CQ-7B-orpo を Llama.cpp の imatrix 量子化手法を用いて量子化したものです。量子化により、モデルのサイズを削減し、推論速度を向上させることができます。

• オリジナルモデル: NTQAI/Nxcode-CQ-7B-orpo

• オリジナルのデータ型: BF16 (bfloat16)

• 量子化: llama.cpp b3067

• IMatrix データセット: こちら

• ファイル

  • IMatrix
  • 一般的な量子化形式
  • 全ての量子化形式

• huggingface-cli を使用したダウンロード

• 推論

  • シンプルなチャットテンプレート
  • システムプロンプト付きのチャットテンプレート
  • Llama.cpp

• FAQ

  • IMatrix がすべての量子化形式に適用されていないのはなぜですか？
  • 分割された GGUF ファイルを結合するにはどうすればいいですか？

📦 ファイル

IMatrix

• ステータス: ✅ 利用可能
• リンク: こちら

一般的な量子化形式

全ての量子化形式

📥 huggingface-cli を使用したダウンロード

huggingface-cli がインストールされていない場合は、以下のコマンドでインストールしてください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download legraphista/Nxcode-CQ-7B-orpo-IMat-GGUF --include "Nxcode-CQ-7B-orpo.Q8_0.gguf" --local-dir ./

モデルファイルが大きい場合、複数のファイルに分割されていることがあります。これらのファイルをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download legraphista/Nxcode-CQ-7B-orpo-IMat-GGUF --include "Nxcode-CQ-7B-orpo.Q8_0/*" --local-dir ./
# GGUF ファイルの結合については FAQ を参照してください

💻 推論

シンプルなチャットテンプレート

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{user_prompt}<|im_end|>
<|im_start|>assistant
{assistant_response}<|im_end|>
<|im_start|>user
{next_user_prompt}<|im_end|>

システムプロンプト付きのチャットテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{user_prompt}<|im_end|>
<|im_start|>assistant
{assistant_response}<|im_end|>
<|im_start|>user
{next_user_prompt}<|im_end|>

Llama.cpp

llama.cpp/main -m Nxcode-CQ-7B-orpo.Q8_0.gguf --color -i -p "prompt here (according to the chat template)"

❓ FAQ

IMatrix がすべての量子化形式に適用されていないのはなぜですか？

この調査によると、低い量子化形式のみが imatrix 入力から恩恵を受けるようです（hellaswag の結果に基づく）。

分割された GGUF ファイルを結合するにはどうすればいいですか？

1. gguf-split が利用可能であることを確認します。
   • gguf-split を入手するには、https://github.com/ggerganov/llama.cpp/releases にアクセスします。
   • 最新のリリースから、あなたのシステムに適した zip ファイルをダウンロードします。
   • アーカイブを解凍すると、gguf-split が見つかるはずです。
2. GGUF チャンクのフォルダを見つけます（例: Nxcode-CQ-7B-orpo.Q8_0）。
3. gguf-split --merge Nxcode-CQ-7B-orpo.Q8_0/Nxcode-CQ-7B-orpo.Q8_0-00001-of-XXXXX.gguf Nxcode-CQ-7B-orpo.Q8_0.gguf を実行します。
   • gguf-split が分割された最初のチャンクを指すようにしてください。

提案があれば、@legraphista まで連絡してください！

📄 ライセンス

このモデルは tongyi-qianwen-research ライセンスの下で提供されています。