Emu3 VisionTokenizer

🚀 Emu3：仅需下一令牌预测

Emu3 是一套全新的、仅通过 下一令牌预测 训练的最先进多模态模型！通过将图像、文本和视频标记到离散空间，我们在多模态序列的混合数据上从头开始训练了一个单一的变换器模型。

项目链接

• 项目主页
• 论文
• 🤗HF 模型
• GitHub
• 演示

模型架构图

🚀 快速开始

Emu3 在生成和感知方面均表现出色

Emu3 在生成和感知任务中均优于多个成熟的特定任务模型，超越了 SDXL、LLaVA - 1.6 和 OpenSora - 1.2 等旗舰开源模型，同时无需扩散或组合架构。

对比图

✨ 主要特性

• 高质量图像生成：Emu3 能够通过简单地预测下一个视觉令牌，根据文本输入生成高质量图像。该模型自然支持灵活的分辨率和风格。
• 强大的视觉 - 语言理解能力：Emu3 展现出强大的视觉 - 语言理解能力，能够感知现实世界并提供连贯的文本响应。值得注意的是，这种能力的实现不依赖于 CLIP 和预训练的大语言模型。
• 视频生成：与 Sora 中的视频扩散模型不同，Emu3 通过预测视频序列中的下一个令牌来自然地生成视频。在给定上下文视频的情况下，Emu3 还可以自然地扩展视频并预测接下来会发生什么。

💻 使用示例

基础用法

import os
import os.path as osp

from PIL import Image
import torch
from transformers import AutoModel, AutoImageProcessor

MODEL_HUB = "BAAI/Emu3-VisionTokenizer"

model = AutoModel.from_pretrained(MODEL_HUB, trust_remote_code=True).eval().cuda()
processor = AutoImageProcessor.from_pretrained(MODEL_HUB, trust_remote_code=True)

# TODO: you need to modify the path here
VIDEO_FRAMES_PATH = "YOUR_VIDEO_FRAMES_PATH"

video = os.listdir(VIDEO_FRAMES_PATH)
video.sort()
video = [Image.open(osp.join(VIDEO_FRAMES_PATH, v)) for v in video]

images = processor(video, return_tensors="pt")["pixel_values"]
images = images.unsqueeze(0).cuda()

# image autoencode
image = images[:, 0]
print(image.shape)
with torch.no_grad():
    # encode
    codes = model.encode(image)
    # decode
    recon = model.decode(codes)

recon = recon.view(-1, *recon.shape[2:])
recon_image = processor.postprocess(recon)["pixel_values"][0]
recon_image.save("recon_image.png")

# video autoencode
images = images.view(
    -1,
    model.config.temporal_downsample_factor,
    *images.shape[2:],
)

print(images.shape)
with torch.no_grad():
    # encode
    codes = model.encode(images)
    # decode
    recon = model.decode(codes)

recon = recon.view(-1, *recon.shape[2:])
recon_images = processor.postprocess(recon)["pixel_values"]
for idx, im in enumerate(recon_images):
    im.save(f"recon_video_{idx}.png")

📄 许可证

本项目采用 Apache - 2.0 许可证。