Granite 34b Code Instruct 8k GGUF

🚀 ibm-granite/granite-34b-code-instruct-8k-GGUF

本项目是原始模型 ibm-granite/granite-34b-code-instruct-8k 的 Q4_K_M 转换版本。如需更多详细信息，请参考 原始模型卡片。

🚀 快速开始

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安装
make

# 运行生成
./main -m granite-34b-code-instruct-8k-GGUF/granite-34b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📚 详细文档

模型信息

模型评估结果

模型名称为 granite-34b-code-instruct-8k，在不同编程语言的文本生成任务上的 pass@1 指标如下：

代码综合任务（Synthesis）

代码解释任务（Explain）

代码修复任务（Fix）

以上所有结果的验证状态均为未验证。