Glm Edge V 5b Gguf

🚀 Glm-Edge-V-5B-GGUF

Glm-Edge-V-5B-GGUF是一款支持圖像文本到文本轉換的模型，可通過特定方式進行安裝和推理使用。

🚀 快速開始

若需閱讀中文內容，可點擊這裡。

📦 安裝指南

安裝步驟

適配此模型的代碼正在積極集成到官方的llama.cpp中。你可以使用以下適配版本進行測試：

git clone https://github.com/piDack/llama.cpp -b support_glm_edge_model
cmake -B build -DGGML_CUDA=ON # 或者啟用其他加速硬件
cmake --build build -- -j 

💻 使用示例

基礎用法

安裝完成後，你可以使用以下命令啟動GLM-Edge聊天模型：

llama-cli -m <path>/model.gguf -p "<|user|>\nhi<|assistant|>\n" -ngl 999

在命令行界面中，你可以輸入請求與模型進行交互，模型將提供相應的響應。

📄 許可證

此模型權重的使用需遵循LICENSE中規定的條款。