Janusflow 1.3B

🚀 JanusFlow

JanusFlow是一個強大的框架，它能在單個模型中統一圖像理解和生成任務。該框架引入了一種簡約架構，將自迴歸語言模型與校正流（生成式建模中的先進方法）相結合。研究發現，校正流可以在大語言模型框架內直接進行訓練，無需複雜的架構修改。

🚀 快速開始

請參考 Github倉庫

✨ 主要特性

• 統一理解與生成：JanusFlow是一個統一的多模態大語言模型（MLLM），它將多模態理解和生成的視覺編碼解耦，基於DeepSeek - LLM - 1.3b - base構建。
• 多模態理解：使用 [SigLIP - L](https://huggingface.co/timm/ViT - L - 16 - SigLIP - 384) 作為視覺編碼器，支持384 x 384的圖像輸入。
• 圖像生成：使用校正流和 [SDXL - VAE](https://huggingface.co/stabilityai/sdxl - vae) 生成384 x 384的圖像。
• 模型檢查點：提供的檢查點是預訓練和監督微調後的指數移動平均（EMA）檢查點。

📚 詳細文檔

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

📄 許可證

此代碼倉庫遵循 MIT許可證。JanusFlow模型的使用需遵循 DeepSeek模型許可證。

📚 引用

@misc{ma2024janusflow,
      title={JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation}, 
      author={Yiyang Ma and Xingchao Liu and Xiaokang Chen and Wen Liu and Chengyue Wu and Zhiyu Wu and Zizheng Pan and Zhenda Xie and Haowei Zhang and Xingkai yu and Liang Zhao and Yisong Wang and Jiaying Liu and Chong Ruan},
      journal={arXiv preprint arXiv:2411.07975},
      year={2024}
}

📞 聯繫我們

如果您有任何問題，請提出問題或通過 service@deepseek.com 與我們聯繫。