Granite 34b Code Instruct 8k GGUF

🚀 ibm-granite/granite-34b-code-instruct-8k-GGUF

本項目是原始模型 ibm-granite/granite-34b-code-instruct-8k 的 Q4_K_M 轉換版本。如需更多詳細信息，請參考 原始模型卡片。

🚀 快速開始

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安裝
make

# 運行生成
./main -m granite-34b-code-instruct-8k-GGUF/granite-34b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📚 詳細文檔

模型信息

模型評估結果

模型名稱為 granite-34b-code-instruct-8k，在不同編程語言的文本生成任務上的 pass@1 指標如下：

代碼綜合任務（Synthesis）

代碼解釋任務（Explain）

代碼修復任務（Fix）

以上所有結果的驗證狀態均為未驗證。