C4ai Command R Plus GGUF

🚀 Command R+ GGUF

このリポジトリは、llama.cpp 用のGGUF重みを含んでいます。これらへのサポートはリリースb2636で追加されました。コミット dd2d53a 以降、このリポジトリ内のすべての重みにはチャットテンプレートが含まれています。

フォルダ imatrix では、imatrix量子化を見つけることができます。重要度行列は、kalomaze のgroups_merged.txtを使用して学習されました。

🚀 クイックスタート

1. リリースb2636 以上を持っていることを確認してください。
2. 以下のコマンドで開始します。

./main -p "<|START_OF_TURN_TOKEN|><|USER_TOKEN|>Who are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" --color -m /path/to/command-r-plus-Q3_K_L-00001-of-00002.gguf

✨ 主な機能

wikitext-2-raw でのパープレキシティ [作業中]

重みのマージ

コミット 8a28d12 以降、重みは gguf-split で分割されています。つまり、重みをマージする必要はありません。上記の例のように最初の分割を渡すだけで、llama.cpp が自動的にすべての分割を読み込みます。何らかの理由で分割をマージしたい場合は、以下のコマンドを使用できます。

./gguf-split --merge /path/to/command-r-plus-f16-00001-of-00005.gguf /path/to/command-r-plus-f16-combined.gguf

📄 ライセンス

このプロジェクトは cc-by-nc-4.0 ライセンスの下で提供されています。