Janus Pro 7B 4bit

🚀 基于 deepseek-ai/Janus-Pro-7B 的模型

本项目基于 deepseek-ai/Janus-Pro-7B 模型进行修改，主要提供了将模型量化到 4bit 后的版本，同时支持使用 mlx 框架在 Macos（Apple silicon）上快速启动推理服务。

🚀 快速开始

在 Macos（Apple silicon）系统中，你可以使用 mlx 框架来运行本模型。具体可参考项目 https://github.com/wnma3mz/tLLM 。

tllm.server --model_path $MODEL_PATH

这里的 $MODEL_PATH 例如 wnma3mz/Janus-Pro-1B-4bit 。

📄 许可证

本项目采用 MIT 许可证，详细信息请参考 LICENSE 。

🔍 模型修改说明

本模型源自 https://huggingface.co/deepseek-ai/Janus-Pro-7B ，主要修改点如下：

• 将二进制文件更新为 safetensors 格式。
• 添加了聊天模板。

4bit 主要指的是将大语言模型（LLM）部分量化为 4 位。