Granite 8b Code Instruct 4k

🚀 Granite-8B-Code-Instruct-4K

Granite-8B-Code-Instruct-4K 是一個擁有 80 億參數的模型，它基於 Granite-8B-Code-Base-4K 在一系列 許可寬鬆 的指令數據上進行微調，以增強其指令跟隨能力，包括邏輯推理和問題解決能力。

🚀 快速開始

模型概述

• 開發者：IBM Research
• GitHub 倉庫：ibm-granite/granite-code-models
• 論文：Granite Code Models: A Family of Open Foundation Models for Code Intelligence
• 發佈日期：2024 年 5 月 6 日
• 許可證：Apache 2.0

使用方式

預期用途

該模型旨在響應與編碼相關的指令，可用於構建編碼助手。

生成示例

以下是一個如何使用 Granite-8B-Code-Instruct-4K 模型的簡單示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm-granite/granite-8b-code-instruct-4k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

✨ 主要特性

• 基於 Granite-8B-Code-Base-4K 微調，增強了指令跟隨能力。
• 可響應多種編碼相關指令，適用於構建編碼助手。

📦 訓練數據

Granite Code Instruct 模型在以下類型的數據上進行訓練：

• 代碼提交數據集：我們從 CommitPackFT 數據集獲取代碼提交數據，這是完整 CommitPack 數據集的過濾版本。從 CommitPackFT 數據集中，我們僅考慮 92 種編程語言的數據。我們的納入標準歸結為選擇 CommitPackFT 中常見的編程語言，以及我們用於預訓練代碼基礎模型（Granite-8B-Code-Base）的 116 種語言。
• 數學數據集：我們考慮了兩個高質量的數學數據集，MathInstruct 和 MetaMathQA。由於許可問題，我們從 MathInstruct 數據集中過濾掉了 GSM8K - RFT 和 Camel - Math。
• 代碼指令數據集：我們使用 Glaive - Code - Assistant - v3、Glaive - Function - Calling - v2、NL2SQL11 以及一小部分合成 API 調用數據集。
• 語言指令數據集：我們納入了高質量的數據集，如 HelpSteer 和 Platypus 的開放許可過濾版本。我們還包括了一組硬編碼提示，以確保我們的模型在收到關於其名稱或開發者的詢問時能生成正確的輸出。

🔧 技術細節

基礎設施

我們使用 IBM 的兩個超級計算集群 Vela 和 Blue Vela 來訓練 Granite Code 模型，這兩個集群分別配備了 NVIDIA A100 和 H100 GPU。這些集群為我們在數千個 GPU 上訓練模型提供了可擴展且高效的基礎設施。

倫理考量與侷限性

Granite 代碼指令模型主要使用特定編程語言的指令 - 響應對進行微調。因此，它們在處理領域外編程語言時的性能可能會受到限制。在這種情況下，提供少量示例以引導模型輸出是有益的。此外，開發者在將這些模型部署到關鍵應用程序之前，應進行安全測試和特定目標的調整。該模型還繼承了其基礎模型的倫理考量和侷限性。更多信息，請參考 Granite - 8B - Code - Base - 4K 模型卡片。

📄 許可證

本模型採用 Apache 2.0 許可證。

📚 詳細文檔