Glm Edge V 5b Gguf

🚀 Glm-Edge-V-5B-GGUF

このモデルは画像とテキストを入力とし、テキストを出力するモデルです。GLMに基づいており、エッジ環境での使用に最適化されています。

🚀 クイックスタート

このセクションでは、Ollamaを使用したモデルの推論方法について説明します。

📦 インストール

このモデルを適応させるコードは、公式のllama.cppに積極的に統合されています。以下の適応バージョンを使用してテストすることができます。

git clone https://github.com/piDack/llama.cpp -b support_glm_edge_model
cmake -B build -DGGML_CUDA=ON # または他の加速ハードウェアを有効にする
cmake --build build -- -j 

💻 使用例

基本的な使用法

インストールが完了したら、以下のコマンドを使用してGLM-Edge Chatモデルを起動できます。

llama-cli -m <path>/model.gguf -p "<|user|>\nhi<|assistant|>\n" -ngl 999

コマンドラインインターフェースでは、リクエストを入力することでモデルと対話でき、モデルは対応する応答を提供します。

📄 ライセンス

このモデルの重みの使用は、LICENSEに記載されている条件に従う必要があります。