Janus Pro 1B 4bit

🚀 深度探索 - Janus-Pro-1B-4bit模型

本模型基於Transformer架構，以deepseek-ai/Janus-Pro-1B為基礎進行修改，將模型量化為4bit，優化了存儲和推理效率，適用於多種對話場景。

🚀 快速開始

在Macos（Apple silicon）系統中，可使用 mlx 框架（參考鏈接：https://github.com/wnma3mz/tLLM ）來運行模型。

tllm.server --model_path $MODEL_PATH

其中，$MODEL_PATH 可設置為類似 wnma3mz/Janus-Pro-1B-4bit 的路徑。

📄 許可證

• 許可證類型：MIT
• 許可證名稱：deepseek
• 許可證鏈接：LICENSE

📚 詳細文檔

本模型源自 https://huggingface.co/deepseek-ai/Janus-Pro-1B，主要進行了以下修改：

• 將二進制文件更新為 safetensors 格式。
• 添加了聊天模板。

4bit 主要指將大語言模型（LLM）部分量化為4位。