Janus Pro 1B

🚀 Janus-Pro

Janus-Proは、マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。このフレームワークは、以前のアプローチの制限を克服し、柔軟性と効果的な性能を提供します。

🚀 クイックスタート

詳細については、Githubリポジトリを参照してください。

✨ 主な機能

• Janus-Proは、マルチモーダル理解と生成を統合したMLLMで、ビジュアルエンコーディングを分離しています。
• このモデルは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseをベースに構築されています。
• マルチモーダル理解には、SigLIP-Lをビジョンエンコーダーとして使用し、384 x 384の画像入力をサポートしています。
• 画像生成には、こちらのトークナイザーをダウンサンプル率16で使用しています。

📚 ドキュメント

1. 概要

Janus-Proは、マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。このフレームワークは、ビジュアルエンコーディングを別々のパスウェイに分離することで、以前のアプローチの制限を克服します。同時に、単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。この分離により、ビジュアルエンコーダーの理解と生成の役割の間の衝突が軽減され、フレームワークの柔軟性が向上します。

Janus-Proは、以前の統一モデルを上回り、タスク固有のモデルの性能と同等またはそれ以上の性能を発揮します。Janus-Proのシンプルさ、高い柔軟性、および効果的な性能は、次世代の統一マルチモーダルモデルとしての有力な候補となっています。

Githubリポジトリ

2. モデルの概要

Janus-Proは、マルチモーダル理解と生成を統合したMLLMで、ビジュアルエンコーディングを分離しています。このモデルは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseをベースに構築されています。

マルチモーダル理解には、SigLIP-Lをビジョンエンコーダーとして使用し、384 x 384の画像入力をサポートしています。画像生成には、こちらのトークナイザーをダウンサンプル率16で使用しています。

📄 ライセンス

このコードリポジトリは、MITライセンスの下でライセンスされています。Janus-Proモデルの使用は、DeepSeekモデルライセンスに従います。

📚 引用

@article{chen2025janus,
  title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling},
  author={Chen, Xiaokang and Wu, Zhiyu and Liu, Xingchao and Pan, Zizheng and Liu, Wen and Xie, Zhenda and Yu, Xingkai and Ruan, Chong},
  journal={arXiv preprint arXiv:2501.17811},
  year={2025}
}

📞 連絡先

ご質問がある場合は、イシューを登録するか、service@deepseek.comまでご連絡ください。