Granite 3b Code Instruct 2k

🚀 Granite-3B-Code-Instruct-2K

Granite-3B-Code-Instruct-2K 是一個具有 30 億參數的模型，它基於 Granite-3B-Code-Base-2K，在多種 許可寬鬆 的指令數據上進行微調，以增強指令遵循能力，包括邏輯推理和問題解決能力。

🚀 快速開始

預期用途

該模型旨在響應與編碼相關的指令，可用於構建編碼助手。

生成示例

以下是一個如何使用 Granite-3B-Code-Instruct-2K 模型的簡單示例。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm-granite/granite-3b-code-instruct-2k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

✨ 主要特性

• 開發者：IBM Research
• GitHub 倉庫：ibm-granite/granite-code-models
• 論文：Granite Code Models: A Family of Open Foundation Models for Code Intelligence
• 發佈日期：2024 年 5 月 6 日
• 許可證：Apache 2.0

📦 安裝指南

文檔中未提及安裝步驟，暫不提供。

📚 詳細文檔

訓練數據

Granite Code Instruct 模型在以下類型的數據上進行訓練：

• 代碼提交數據集：我們從 CommitPackFT 數據集獲取代碼提交數據，這是完整 CommitPack 數據集的過濾版本。從 CommitPackFT 數據集中，我們僅考慮 92 種編程語言的數據。我們的納入標準歸結為選擇 CommitPackFT 中常見的編程語言，以及我們用於預訓練代碼基礎模型（Granite-3B-Code-Base）的 116 種語言。
• 數學數據集：我們考慮兩個高質量的數學數據集，MathInstruct 和 MetaMathQA。由於許可證問題，我們從 MathInstruct 數據集中過濾掉了 GSM8K-RFT 和 Camel-Math。
• 代碼指令數據集：我們使用 Glaive-Code-Assistant-v3、Glaive-Function-Calling-v2、NL2SQL11 以及一小部分合成 API 調用數據集。
• 語言指令數據集：我們納入了高質量的數據集，如 HelpSteer 和 Platypus 的開放許可證過濾版本。我們還納入了一組硬編碼提示，以確保我們的模型在收到關於其名稱或開發者的詢問時能生成正確的輸出。

基礎設施

我們使用 IBM 的兩個超級計算集群 Vela 和 Blue Vela 來訓練 Granite Code 模型，這兩個集群分別配備了 NVIDIA A100 和 H100 GPU。這些集群為我們在數千個 GPU 上訓練模型提供了可擴展且高效的基礎設施。

倫理考量和侷限性

Granite 代碼指令模型主要使用特定一組編程語言的指令 - 響應對進行微調。因此，它們在域外編程語言上的性能可能有限。在這種情況下，提供少樣本示例有助於引導模型的輸出。此外，開發者在將這些模型部署到關鍵應用程序之前，應進行安全測試和針對特定目標的調整。該模型還繼承了其基礎模型的倫理考量和侷限性。更多信息，請參考 Granite-3B-Code-Base-2K 模型卡片。

🔧 技術細節

文檔中未提及詳細技術細節，暫不提供。

📄 許可證

該模型使用 Apache 2.0 許可證。

模型信息表格