Granite 8b Code Instruct 4k GGUF

🚀 ibm-granite/granite-8b-code-instruct-4k-GGUF

這是原始模型 ibm-granite/granite-8b-code-instruct-4k 的 Q4_K_M 轉換版本。如需更多詳細信息，請參考 原始模型卡片。

🚀 快速開始

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安裝
make

# 運行生成
./main -m granite-8b-code-instruct-4k-GGUF/granite-8b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📚 詳細文檔

模型信息

模型評估結果

📄 許可證

本項目採用 Apache 2.0 許可證。