Granite 8b Code Instruct 128k GGUF

🚀 ibm-granite/granite-8b-code-instruct-128k - GGUF

このリポジトリには、ibm-granite/granite-8b-code-instruct-128k のGGUF形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンで量子化されており、コミット b4011 以降、llama.cpp と互換性があります。

🚀 クイックスタート

モデル情報

モデル評価結果

✨ 主な機能

• さまざまな量子化タイプのモデルファイルを提供し、さまざまな使用シナリオやニーズに対応します。
• llama.cpp と互換性があり、ユーザーが簡単にデプロイして使用できます。

📦 インストール

コマンドラインでのインストール

まず、Huggingface クライアントをインストールします。

pip install -U "huggingface_hub[cli]"

次に、単一のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/granite-8b-code-instruct-128k-GGUF --include "granite-8b-code-instruct-128k-Q2_K.gguf" --local-dir MY_LOCAL_DIR

複数のモデルファイルをパターンでダウンロードする場合（例：*Q4_K*gguf）は、以下を試してみてください。

huggingface-cli download tensorblock/granite-8b-code-instruct-128k-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

当社のプロジェクト

プロジェクト名	プロジェクト説明	プロジェクト画像	プロジェクトリンク
Awesome MCP Servers	包括的なモデルコンテキストプロトコル（MCP）サーバーのコレクション。		プロジェクトを見る
TensorBlock Studio	軽量で、オープンかつ拡張可能な多言語モデルインタラクションスタジオ。		プロジェクトを見る

プロンプトテンプレート

System:
{system_prompt}

Question:
{prompt}

Answer:

モデルファイル仕様

📄 ライセンス

このプロジェクトは、Apache-2.0 ライセンスの下で提供されています。