Openchat 3.6 8b 20240522 IMat GGUF

🚀 openchat-3.6-8b-20240522-IMat-GGUF

本項目是對 openchat/openchat-3.6-8b-20240522 模型進行 Llama.cpp imatrix 量化處理後的版本。提供了不同量化類型的文件，方便用戶根據自身需求進行下載和使用。

原始模型：openchat/openchat-3.6-8b-20240522
原始數據類型：BF16 (bfloat16)
量化工具：llama.cpp b3006
IMatrix 數據集：點擊查看

📦 文件信息

IMatrix

狀態：✅ 可用
鏈接：點擊下載

常用量化文件

所有量化文件

🚀 快速開始

使用 huggingface-cli 下載

如果你還沒有安裝 huggingface-cli，可以使用以下命令進行安裝：

pip install -U "huggingface_hub[cli]"

下載你需要的特定文件：

huggingface-cli download legraphista/openchat-3.6-8b-20240522-IMat-GGUF --include "openchat-3.6-8b-20240522.Q8_0.gguf" --local-dir ./

如果模型文件較大，可能已被拆分為多個文件。要將它們全部下載到本地文件夾，請運行以下命令：

huggingface-cli download legraphista/openchat-3.6-8b-20240522-IMat-GGUF --include "openchat-3.6-8b-20240522.Q8_0/*" --local-dir openchat-3.6-8b-20240522.Q8_0
# 合併 GGUF 文件的方法請參考 FAQ

💻 使用示例

簡單聊天模板

<|begin_of_text|><|start_header_id|>GPT4 Correct User<|end_header_id|>

Can you provide ways to eat combinations of bananas and dragonfruits?<|eot_id|><|start_header_id|>GPT4 Correct Assistant<|end_header_id|>

Sure! Here are some ways to eat bananas and dragonfruits together:
 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey.
 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

What about solving an 2x + 3 = 7 equation?<|eot_id|>

帶系統提示的聊天模板

<|begin_of_text|><|start_header_id|>System<|end_header_id|>

You are a helpful AI.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

Can you provide ways to eat combinations of bananas and dragonfruits?<|eot_id|><|start_header_id|>GPT4 Correct Assistant<|end_header_id|>

Sure! Here are some ways to eat bananas and dragonfruits together:
 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey.
 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

What about solving an 2x + 3 = 7 equation?<|eot_id|>

使用 Llama.cpp 進行推理

llama.cpp/main -m openchat-3.6-8b-20240522.Q8_0.gguf --color -i -p "prompt here (according to the chat template)"

❓ 常見問題解答

為什麼 IMatrix 沒有應用到所有地方？

根據 這項調查，似乎只有較低的量化類型能從 imatrix 輸入中受益（根據 hellaswag 結果）。

如何合併拆分的 GGUF 文件？

1. 確保你已經有 gguf-split 工具：
   • 要獲取 gguf-split，請訪問 https://github.com/ggerganov/llama.cpp/releases。
   • 從最新版本中下載適合你係統的壓縮包。
   • 解壓壓縮包後，你應該能找到 gguf-split 工具。
2. 找到你的 GGUF 拆分文件所在的文件夾（例如：openchat-3.6-8b-20240522.Q8_0）。
3. 運行以下命令進行合併：

gguf-split --merge openchat-3.6-8b-20240522.Q8_0/openchat-3.6-8b-20240522.Q8_0-00001-of-XXXXX.gguf openchat-3.6-8b-20240522.Q8_0.gguf

請確保將 gguf-split 指向拆分文件中的第一個文件。

如果你有任何建議，歡迎在 @legraphista 聯繫我！