Granite 34b Code Instruct 8k GGUF

🚀 ibm-granite/granite-34b-code-instruct-8k-GGUF

このモデルは、元のibm-granite/granite-34b-code-instruct-8kをQ4_K_M形式に変換したものです。詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

llama.cppでの使用方法

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# インストール
make

# 生成を実行
./main -m granite-34b-code-instruct-8k-GGUF/granite-34b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📦 モデル情報

📊 モデル指標

granite-34b-code-instruct-8k