🚀 Granite-20B-Code-Instruct-8K
Granite-20B-Code-Instruct-8K 是一个具有 200 亿参数的模型,它基于 Granite-20B-Code-Base-8K,在多种 许可宽松 的指令数据上进行微调,以增强指令跟随能力,包括逻辑推理和问题解决能力。
模型信息
属性 |
详情 |
模型类型 |
文本生成 |
基础模型 |
ibm-granite/granite-20b-code-base-8k |
推理功能 |
支持 |
许可证 |
Apache-2.0 |
训练数据集 |
bigcode/commitpackft、TIGER-Lab/MathInstruct、meta-math/MetaMathQA、glaiveai/glaive-code-assistant-v3、glaive-function-calling-v2、bugdaryan/sql-create-context-instruction、garage-bAInd/Open-Platypus、nvidia/HelpSteer |
评估指标 |
code_eval |
库名称 |
transformers |
标签 |
code、granite |
模型评估结果
任务类型 |
数据集名称 |
pass@1 值 |
文本生成 |
HumanEvalSynthesis(Python) |
60.4 |
文本生成 |
HumanEvalSynthesis(JavaScript) |
53.7 |
文本生成 |
HumanEvalSynthesis(Java) |
58.5 |
文本生成 |
HumanEvalSynthesis(Go) |
42.1 |
文本生成 |
HumanEvalSynthesis(C++) |
45.7 |
文本生成 |
HumanEvalSynthesis(Rust) |
42.7 |
文本生成 |
HumanEvalExplain(Python) |
44.5 |
文本生成 |
HumanEvalExplain(JavaScript) |
42.7 |
文本生成 |
HumanEvalExplain(Java) |
49.4 |
文本生成 |
HumanEvalExplain(Go) |
32.3 |
文本生成 |
HumanEvalExplain(C++) |
42.1 |
文本生成 |
HumanEvalExplain(Rust) |
18.3 |
文本生成 |
HumanEvalFix(Python) |
43.9 |
文本生成 |
HumanEvalFix(JavaScript) |
43.9 |
文本生成 |
HumanEvalFix(Java) |
45.7 |
文本生成 |
HumanEvalFix(Go) |
41.5 |
文本生成 |
HumanEvalFix(C++) |
41.5 |
文本生成 |
HumanEvalFix(Rust) |
29.9 |

🚀 快速开始
模型概述
使用说明
预期用途
该模型旨在响应与编码相关的指令,可用于构建编码助手。
生成示例
以下是一个如何使用 Granite-20B-Code-Instruct-8K 模型的简单示例:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"
model_path = "ibm-granite/granite-20b-code-instruct-8k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
chat = [
{ "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt")
for i in input_tokens:
input_tokens[i] = input_tokens[i].to(device)
output = model.generate(**input_tokens, max_new_tokens=100)
output = tokenizer.batch_decode(output)
for i in output:
print(i)
✨ 主要特性
该模型基于 Granite-20B-Code-Base-8K 进行微调,在多种许可宽松的指令数据上训练,增强了指令跟随能力,包括逻辑推理和问题解决能力。
📦 训练数据
Granite Code Instruct 模型在以下类型的数据上进行训练:
🔧 技术细节
我们使用 IBM 的两个超级计算集群 Vela 和 Blue Vela 来训练 Granite Code 模型,这两个集群分别配备了 NVIDIA A100 和 H100 GPU。这些集群为我们在数千个 GPU 上训练模型提供了可扩展且高效的基础设施。
📄 许可证
本模型采用 Apache 2.0 许可证。
⚠️ 重要提示
Granite 代码指令模型主要使用特定编程语言的指令 - 响应对进行微调。因此,它们在处理领域外编程语言时的性能可能会受到限制。在这种情况下,提供少量示例有助于引导模型输出。此外,开发者在将这些模型部署到关键应用程序之前,应进行安全测试和特定目标的调优。该模型还继承了其基础模型的伦理考量和局限性。更多信息,请参考 Granite-20B-Code-Base-8K 模型卡片。