Granite 8b Code Instruct 4k GGUF

🚀 ibm-granite/granite-8b-code-instruct-4k-GGUF

このモデルは、元のibm-granite/granite-8b-code-instruct-4kをQ4_K_M形式に変換したものです。詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

llama.cppでの使用方法

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# インストール
make

# 生成を実行
./main -m granite-8b-code-instruct-4k-GGUF/granite-8b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

📦 インストール

上記のllama.cppでの使用方法に記載されているコマンドを実行することで、インストールおよびコード生成を行うことができます。

📚 ドキュメント

モデル情報

モデル評価結果

モデル名はgranite-8b-code-instruct-4kで、以下のような評価結果が得られています。

テキスト生成タスク

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。