Glm Edge V 2b Gguf

🚀 Glm-Edge-V-2B-GGUF

このモデルは画像とテキストを入力としてテキストを出力するモデルで、GLM関連の技術を用いています。また、edge環境での利用にも適しています。

🚀 クイックスタート

📦 インストール

このモデルを適応させるコードは公式のllama.cppに積極的に統合されています。以下の適応版を使用してテストできます。

git clone https://github.com/piDack/llama.cpp -b support_glm_edge_model
cmake -B build -DGGML_CUDA=ON # または他の加速ハードウェアを有効にする
cmake --build build -- -j 

💻 使用例

基本的な使用法

インストール後、以下のコマンドを使用してGLM-Edge Chatモデルを起動できます。

llama-cli -m <path>/model.gguf -p "<|user|>\nhi<|assistant|>\n" -ngl 999

コマンドラインインターフェースでは、要求を入力することでモデルと対話でき、モデルは対応する応答を提供します。

📄 ライセンス

このモデルの重みの使用は、LICENSEに記載されている条件に従います。