Granite 20b Code Instruct 8k

🚀 Granite-20B-Code-Instruct-8K

Granite-20B-Code-Instruct-8K は、Granite-20B-Code-Base-8K から微調整された200億パラメータのモデルです。論理的な推論や問題解決能力を含む指示に従う能力を強化するために、許容可能なライセンスの指示データの組み合わせを使用しています。

🚀 クイックスタート

このモデルはコーディング関連の指示に応答するように設計されており、コーディングアシスタントを構築するために使用できます。以下は、Granite-20B-Code-Instruct-8K モデルを使用する簡単な例です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm-granite/granite-20b-code-instruct-8k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

✨ 主な機能

• 高度な指示追従能力：論理的な推論や問題解決能力を含む指示に従う能力が強化されています。
• 多言語対応：複数のプログラミング言語に対応しており、コーディングアシスタントとして活用できます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

📚 ドキュメント

モデル概要

開発者情報

• 開発者：IBM Research
• GitHubリポジトリ：ibm-granite/granite-code-models
• 論文：Granite Code Models: A Family of Open Foundation Models for Code Intelligence
• リリース日：2024年5月6日

🔧 技術詳細

学習データ

Granite Code Instructモデルは、以下のタイプのデータで学習されています。

• コードコミットデータセット：CommitPackFT データセットからコードコミットデータを取得しました。これは、完全なCommitPackデータセットのフィルタリングされたバージョンです。CommitPackFTデータセットからは、92のプログラミング言語のデータのみを考慮しています。
• 数学データセット：MathInstruct と MetaMathQA の2つの高品質な数学データセットを使用しています。
• コード指示データセット：Glaive-Code-Assistant-v3、Glaive-Function-Calling-v2、NL2SQL11 および合成API呼び出しデータセットの小さなコレクションを使用しています。
• 言語指示データセット：HelpSteer や Platypus のオープンライセンスでフィルタリングされたバージョンなどの高品質なデータセットを含んでいます。

インフラストラクチャ

Granite Codeモデルは、IBMの2つのスーパーコンピューティングクラスターであるVelaとBlue Velaを使用して学習されています。これらのクラスターは、それぞれNVIDIA A100とH100 GPUを備えており、数千のGPUでモデルを学習するための拡張可能で効率的なインフラストラクチャを提供します。

📄 ライセンス

このモデルは Apache 2.0 ライセンスの下で提供されています。

⚠️ 重要提示

Granite code instructモデルは、特定のプログラミング言語の指示応答ペアを使用して主に微調整されています。したがって、ドメイン外のプログラミング言語での性能は制限される可能性があります。このような場合、少数の例を提供すると、モデルの出力を導くのに役立ちます。また、開発者は、これらのモデルを重要なアプリケーションにデプロイする前に、セーフティテストとターゲット固有のチューニングを行う必要があります。モデルは、そのベースモデルから倫理的な考慮事項や制限事項も引き継いでいます。詳細については、Granite-20B-Code-Base-8K モデルカードを参照してください。