Janus Pro 7b 4bit

🚀 Janus-Pro

Janus-Proは、マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。このフレームワークは、視覚エンコーディングを別々のパスに分離することで、従来のアプローチの制限を克服し、単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。この分離により、視覚エンコーダーの理解と生成における役割の衝突が軽減され、フレームワークの柔軟性が向上します。Janus-Proは、以前の統一モデルを上回り、タスク固有のモデルと同等またはそれ以上の性能を発揮します。

🚀 クイックスタート

GitHubリポジトリを参照してください。

✨ 主な機能

• マルチモーダル理解と生成を統合した新しい自己回帰フレームワークです。
• 視覚エンコーディングを別々のパスに分離することで、従来のアプローチの制限を克服します。
• 単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。
• 視覚エンコーダーの理解と生成における役割の衝突が軽減され、フレームワークの柔軟性が向上します。
• 以前の統一モデルを上回り、タスク固有のモデルと同等またはそれ以上の性能を発揮します。

📚 ドキュメント

モデル概要

Janus-Proは、マルチモーダル理解と生成のために視覚エンコーディングを分離した統合型理解と生成MLLMです。Janus-Proは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseに基づいて構築されています。

マルチモーダル理解には、SigLIP-Lをビジョンエンコーダーとして使用しており、384 x 384の画像入力をサポートしています。画像生成には、ここのトークナイザーをダウンサンプル率16で使用しています。

GitHubリポジトリ

📄 ライセンス

このコードリポジトリは、MITライセンスの下でライセンスされています。Janus-Proモデルの使用は、DeepSeekモデルライセンスに従います。

引用

@misc{chen2025januspro,
      title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling}, 
      author={Xiaokang Chen and Zhiyu Wu and Xingchao Liu and Zizheng Pan and Wen Liu and Zhenda Xie and Xingkai Yu and Chong Ruan},
      year={2025},
}

お問い合わせ

ご質問がある場合は、issueを作成するか、service@deepseek.comまでご連絡ください。