Janus Pro 7B

🚀 Janus-Pro

Janus-Proは、マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。このフレームワークは、視覚符号化を別々の経路に分離することで、以前のアプローチの制限を克服し、単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。この分離により、視覚エンコーダの理解と生成の役割の間の衝突が軽減され、フレームワークの柔軟性が向上します。

🚀 クイックスタート

詳細については、Githubリポジトリを参照してください。

✨ 主な機能

Janus-Proは、マルチモーダル理解と生成のための視覚符号化を分離した、統合型の理解と生成を行うMLLMです。このモデルは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseをベースに構築されています。

• マルチモーダル理解：SigLIP-Lを視覚エンコーダとして使用し、384 x 384の画像入力をサポートします。
• 画像生成：ここのトークナイザーを使用し、ダウンサンプル率は16です。

📚 ドキュメント

概要

Janus-Proは、マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。このフレームワークは、視覚符号化を別々の経路に分離することで、以前のアプローチの制限を克服し、単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。この分離により、視覚エンコーダの理解と生成の役割の間の衝突が軽減され、フレームワークの柔軟性が向上します。

Githubリポジトリ

モデル概要

Janus-Proは、マルチモーダル理解と生成のための視覚符号化を分離した、統合型の理解と生成を行うMLLMです。このモデルは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseをベースに構築されています。

📄 ライセンス

このコードリポジトリは、MITライセンスの下でライセンスされています。Janus-Proモデルの使用は、DeepSeekモデルライセンスに従います。

📚 引用

@misc{chen2025januspro,
      title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling}, 
      author={Xiaokang Chen and Zhiyu Wu and Xingchao Liu and Zizheng Pan and Wen Liu and Zhenda Xie and Xingkai Yu and Chong Ruan},
      year={2025},
}

📞 お問い合わせ

ご質問がある場合は、イシューを作成するか、service@deepseek.comまでご連絡ください。