Granite 8b Code Instruct 4k

🚀 Granite-8B-Code-Instruct-4K

Granite-8B-Code-Instruct-4K 是一个拥有 80 亿参数的模型，它基于 Granite-8B-Code-Base-4K 在一系列 许可宽松 的指令数据上进行微调，以增强其指令跟随能力，包括逻辑推理和问题解决能力。

🚀 快速开始

模型概述

• 开发者：IBM Research
• GitHub 仓库：ibm-granite/granite-code-models
• 论文：Granite Code Models: A Family of Open Foundation Models for Code Intelligence
• 发布日期：2024 年 5 月 6 日
• 许可证：Apache 2.0

使用方式

预期用途

该模型旨在响应与编码相关的指令，可用于构建编码助手。

生成示例

以下是一个如何使用 Granite-8B-Code-Instruct-4K 模型的简单示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm-granite/granite-8b-code-instruct-4k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

✨ 主要特性

• 基于 Granite-8B-Code-Base-4K 微调，增强了指令跟随能力。
• 可响应多种编码相关指令，适用于构建编码助手。

📦 训练数据

Granite Code Instruct 模型在以下类型的数据上进行训练：

• 代码提交数据集：我们从 CommitPackFT 数据集获取代码提交数据，这是完整 CommitPack 数据集的过滤版本。从 CommitPackFT 数据集中，我们仅考虑 92 种编程语言的数据。我们的纳入标准归结为选择 CommitPackFT 中常见的编程语言，以及我们用于预训练代码基础模型（Granite-8B-Code-Base）的 116 种语言。
• 数学数据集：我们考虑了两个高质量的数学数据集，MathInstruct 和 MetaMathQA。由于许可问题，我们从 MathInstruct 数据集中过滤掉了 GSM8K - RFT 和 Camel - Math。
• 代码指令数据集：我们使用 Glaive - Code - Assistant - v3、Glaive - Function - Calling - v2、NL2SQL11 以及一小部分合成 API 调用数据集。
• 语言指令数据集：我们纳入了高质量的数据集，如 HelpSteer 和 Platypus 的开放许可过滤版本。我们还包括了一组硬编码提示，以确保我们的模型在收到关于其名称或开发者的询问时能生成正确的输出。

🔧 技术细节

基础设施

我们使用 IBM 的两个超级计算集群 Vela 和 Blue Vela 来训练 Granite Code 模型，这两个集群分别配备了 NVIDIA A100 和 H100 GPU。这些集群为我们在数千个 GPU 上训练模型提供了可扩展且高效的基础设施。

伦理考量与局限性

Granite 代码指令模型主要使用特定编程语言的指令 - 响应对进行微调。因此，它们在处理领域外编程语言时的性能可能会受到限制。在这种情况下，提供少量示例以引导模型输出是有益的。此外，开发者在将这些模型部署到关键应用程序之前，应进行安全测试和特定目标的调整。该模型还继承了其基础模型的伦理考量和局限性。更多信息，请参考 Granite - 8B - Code - Base - 4K 模型卡片。

📄 许可证

本模型采用 Apache 2.0 许可证。

📚 详细文档