Janus 1.3B

🚀 ジャヌス (Janus)

ジャヌス (Janus) は、多モーダル理解と生成を統合した革新的な自己回帰フレームワークです。視覚符号化を分離することで、従来のアプローチの制限を克服し、高い柔軟性と効果を実現しています。

🚀 クイックスタート

詳細なクイックスタートガイドについては、Githubリポジトリ を参照してください。

✨ 主な機能

• 多モーダル統合：多モーダル理解と生成を単一のフレームワークで実現。
• 視覚符号化の分離：視覚エンコーダの理解と生成の役割の衝突を軽減し、柔軟性を向上。
• 高性能：従来の統合モデルを上回り、タスク固有のモデルと同等以上の性能を発揮。

📚 ドキュメント

0. 更新情報

2024.10.20：正しい tokenizer_config.json をアップロードしました。以前のファイルには pad_token が欠けており、視覚生成結果が不十分になっていました。

1. 概要

ジャヌス (Janus) は、多モーダル理解と生成を統合した新しい自己回帰フレームワークです。視覚符号化を別々のパスに分離することで、従来のアプローチの制限を克服し、単一の統一トランスフォーマーアーキテクチャを使用して処理を行います。この分離により、視覚エンコーダの理解と生成の役割の衝突が軽減され、フレームワークの柔軟性が向上します。

ジャヌスは、従来の統合モデルを上回り、タスク固有のモデルと同等以上の性能を発揮します。そのシンプルさ、高い柔軟性、および効果により、次世代の統合多モーダルモデルの有力な候補となっています。

Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation

Githubリポジトリ

2. モデルの概要

ジャヌスは、多モーダル理解と生成のために視覚符号化を分離した統合理解と生成のMLLMです。 ジャヌスは、約500Bのテキストトークンのコーパスで学習されたDeepSeek-LLM-1.3b-baseをベースに構築されています。 多モーダル理解には、SigLIP-L をビジョンエンコーダとして使用し、384 x 384の画像入力をサポートします。画像生成には、ここ のトークナイザーをダウンサンプル率16で使用します。

📄 ライセンス

このコードリポジトリは、MITライセンス の下でライセンスされています。ジャヌスモデルの使用は、DeepSeekモデルライセンス に従います。

📚 引用

@misc{wu2024janus,
      title={Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation}, 
      author={Chengyue Wu and Xiaokang Chen and Zhiyu Wu and Yiyang Ma and Xingchao Liu and Zizheng Pan and Wen Liu and Zhenda Xie and Xingkai Yu and Chong Ruan and Ping Luo},
      year={2024},
      eprint={2410.13848},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2410.13848}, 
}

📞 お問い合わせ

ご質問がある場合は、イシューを作成するか、service@deepseek.com までお問い合わせください。