Janus Pro 7b 4bit

🚀 Janus-Pro

Janus-Pro是一種新穎的自迴歸框架，它將多模態理解和生成統一起來。該框架通過將視覺編碼解耦為獨立的路徑，同時仍使用單一、統一的Transformer架構進行處理，解決了以往方法的侷限性。這種解耦不僅緩解了視覺編碼器在理解和生成任務中的衝突，還增強了框架的靈活性。Janus-Pro超越了以往的統一模型，其性能與特定任務模型相當甚至更優。其簡單性、高靈活性和有效性使其成為下一代統一多模態模型的有力候選者。

🚀 快速開始

請參考Github倉庫

✨ 主要特性

• Janus-Pro是一種統一的多模態理解和生成框架，將視覺編碼解耦，用於多模態理解和生成。
• 基於DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base構建。
• 對於多模態理解，使用SigLIP-L作為視覺編碼器，支持384 x 384的圖像輸入。
• 對於圖像生成，使用來自此處的分詞器，下采樣率為16。

📚 詳細文檔

模型概述

Janus-Pro是一個統一的理解和生成型多模態大語言模型（MLLM），它將用於多模態理解和生成的視覺編碼進行了解耦。Janus-Pro基於DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base構建。

在多模態理解方面，它使用SigLIP-L作為視覺編碼器，支持384 x 384的圖像輸入。在圖像生成方面，Janus-Pro使用來自此處的分詞器，下采樣率為16。

模型圖示

📄 許可證

此代碼倉庫遵循MIT許可證。Janus-Pro模型的使用需遵循DeepSeek模型許可證。

📚 引用

@misc{chen2025januspro,
      title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling}, 
      author={Xiaokang Chen and Zhiyu Wu and Xingchao Liu and Zizheng Pan and Wen Liu and Zhenda Xie and Xingkai Yu and Chong Ruan},
      year={2025},
}

📞 聯繫我們

如果您有任何問題，請提出issue或通過service@deepseek.com與我們聯繫。