🚀 Janus-Pro
Janus-Proは、多モーダル理解と生成を統合した斬新な自己回帰フレームワークです。このフレームワークは、視覚符号化を独立したパスに解耦し、依然として単一かつ統一的なTransformerアーキテクチャを使用して処理することで、従来の方法の限界を克服します。この解耦により、視覚エンコーダの理解と生成タスクにおける役割の衝突が緩和され、フレームワークの柔軟性が向上します。Janus-Proは、従来の統一モデルを上回り、特定タスクモデルと同等またはそれ以上の性能を発揮します。その簡潔性、高い柔軟性、および有効性から、次世代の統一多モーダルモデルの有力な候補となっています。
🚀 クイックスタート
プロジェクトリポジトリ
Githubリポジトリ
モデルのサンプル画像
✨ 主な機能
Janus-Proは、多モーダル理解と生成のための視覚符号化を解耦した統一的な理解と生成の多モーダル大規模言語モデル(MLLM)です。Janus-Proは、DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-baseをベースに構築されています。
多モーダル理解には、SigLIP-L を視覚エンコーダとして使用し、384 x 384の画像入力をサポートします。画像生成には、こちら のトークナイザーを使用し、ダウンサンプリング率は16です。
属性 |
詳細 |
モデルタイプ |
統一的な多モーダル理解と生成モデル |
視覚エンコーダ(多モーダル理解) |
SigLIP-L、384 x 384の画像入力をサポート |
トークナイザー(画像生成) |
こちら のトークナイザー、ダウンサンプリング率16 |
ベースモデル |
DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base |
💻 使用例
基本的な使用法
単一画像の推論
以下は、単一画像を使用して視覚理解を行う例です。
import torch
from PIL import Image
import requests
from transformers import JanusForConditionalGeneration, JanusProcessor
model_id = "deepseek-community/Janus-Pro-7B"
messages = [
{
"role": "user",
"content": [
{'type': 'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
{'type': 'text', 'text': "What do you see in this image?"}
]
},
]
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
model_id, torch_dtype=torch.bfloat16, device_map="auto"
)
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
generation_mode="text",
tokenize=True,
return_dict=True,
return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)
高度な使用法
テキストからの画像生成
Janusは、生成モードを image
に設定することで、以下のようにプロンプトから画像を生成することもできます。
import torch
from transformers import JanusForConditionalGeneration, JanusProcessor
model_id = "deepseek-community/Janus-Pro-7B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
model_id, torch_dtype=torch.bfloat16, device_map="auto"
)
messages = [
{
"role": "user",
"content": [
{"type": "text", "text": "A dog running under the rain."}
]
}
]
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(
text=prompt,
generation_mode="image",
return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)
model.generation_config.num_return_sequences = 2
outputs = model.generate(
**inputs,
generation_mode="image",
do_sample=True,
use_cache=True
)
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()), return_tensors="PIL.Image.Image")
for i, image in enumerate(images["pixel_values"]):
image.save(f"image{i}.png")
📄 ライセンス
このコードリポジトリは、MITライセンス に従います。Janus-Proモデルの使用には、DeepSeekモデルライセンス が適用されます。
📚 ドキュメント
引用情報
@article{chen2025janus,
title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling},
author={Chen, Xiaokang and Wu, Zhiyu and Liu, Xingchao and Pan, Zizheng and Liu, Wen and Xie, Zhenda and Yu, Xingkai and Ruan, Chong},
journal={arXiv preprint arXiv:2501.17811},
year={2025}
}
お問い合わせ
何か質問がある場合は、イシューを投稿するか、service@deepseek.com までご連絡ください。