Janus Pro 7B 4bit

🚀 基於 deepseek-ai/Janus-Pro-7B 的模型

本項目基於 deepseek-ai/Janus-Pro-7B 模型進行修改，主要提供了將模型量化到 4bit 後的版本，同時支持使用 mlx 框架在 Macos（Apple silicon）上快速啟動推理服務。

🚀 快速開始

在 Macos（Apple silicon）系統中，你可以使用 mlx 框架來運行本模型。具體可參考項目 https://github.com/wnma3mz/tLLM 。

tllm.server --model_path $MODEL_PATH

這裡的 $MODEL_PATH 例如 wnma3mz/Janus-Pro-1B-4bit 。

📄 許可證

本項目採用 MIT 許可證，詳細信息請參考 LICENSE 。

🔍 模型修改說明

本模型源自 https://huggingface.co/deepseek-ai/Janus-Pro-7B ，主要修改點如下：

• 將二進制文件更新為 safetensors 格式。
• 添加了聊天模板。

4bit 主要指的是將大語言模型（LLM）部分量化為 4 位。