C4ai Command R Plus GGUF

🚀 Command R+ GGUF

本倉庫包含適用於llama.cpp的GGUF權重。在版本b2636中添加了對這些權重的支持。自提交dd2d53a起，本倉庫中的所有權重都包含聊天模板。

在imatrix文件夾中，你可以找到重要性矩陣量化文件。該重要性矩陣是使用kalomaze的groups_merged.txt進行訓練的。

🚀 快速開始

1. 確保你使用的是b2636或更新的版本。
2. 運行以下命令開始：

./main -p "<|START_OF_TURN_TOKEN|><|USER_TOKEN|>Who are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" --color -m /path/to/command-r-plus-Q3_K_L-00001-of-00002.gguf

📊 wikitext-2-raw數據集的困惑度 [進行中]

⚙️ 合併權重

自提交8a28d12起，權重使用gguf-split進行分割，這意味著你無需手動合併權重。只需像上面的示例那樣傳入第一個分割文件，llama.cpp將自動加載所有分割文件。如果你出於某種原因需要合併分割文件，可以使用以下命令：

./gguf-split --merge /path/to/command-r-plus-f16-00001-of-00005.gguf /path/to/command-r-plus-f16-combined.gguf

📄 許可證

本項目採用CC BY-NC 4.0許可證。