Janus Pro 1B

🚀 Janus-Pro

Janus-Pro 是一種新穎的自迴歸框架，它將多模態理解和生成進行了統一。該框架解決了以往方法的侷限性，通過將視覺編碼解耦為獨立的路徑，同時仍使用單一、統一的 Transformer 架構進行處理。這種解耦不僅緩解了視覺編碼器在理解和生成任務中的角色衝突，還增強了框架的靈活性。Janus-Pro 超越了以往的統一模型，其性能與特定任務模型相當甚至更優。Janus-Pro 的簡潔性、高度靈活性和有效性使其成為下一代統一多模態模型的有力候選者。

🚀 快速開始

請參考 Github 倉庫

✨ 主要特性

• 統一多模態處理：Janus-Pro 是一個統一的理解和生成多模態大語言模型（MLLM），將多模態理解和生成的視覺編碼解耦。
• 高性能表現：超越了以往的統一模型，性能與特定任務模型相當甚至更優。
• 靈活架構：通過解耦視覺編碼，緩解了視覺編碼器在理解和生成任務中的角色衝突，增強了框架的靈活性。

📚 詳細文檔

模型概述

Janus-Pro 是一個統一的理解和生成 MLLM，它將多模態理解和生成的視覺編碼解耦。Janus-Pro 基於 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 構建。

對於多模態理解，它使用 SigLIP-L 作為視覺編碼器，支持 384 x 384 圖像輸入。對於圖像生成，Janus-Pro 使用 此處 的分詞器，下采樣率為 16。

項目展示

模型信息

📄 許可證

此代碼倉庫遵循 MIT 許可證。Janus-Pro 模型的使用需遵循 DeepSeek 模型許可證。

📚 引用

@article{chen2025janus,
  title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling},
  author={Chen, Xiaokang and Wu, Zhiyu and Liu, Xingchao and Pan, Zizheng and Liu, Wen and Xie, Zhenda and Yu, Xingkai and Ruan, Chong},
  journal={arXiv preprint arXiv:2501.17811},
  year={2025}
}

📞 聯繫我們

如果您有任何問題，請提出 issue 或通過 service@deepseek.com 聯繫我們。