Mochi 1 Transformer 42

🚀 🎥 蒸馏Mochi变换器

本仓库包含用于GenmoAI Mochi-1的蒸馏变换器。该变换器由42个块组成，而原始变换器有48个块。

✨ 主要特性

• 蒸馏变换器：减少了块的数量，从原始的48个块减少到42个块。

📚 详细文档

训练细节

我们分析了每个块之后潜在变量的均方误差（MSE），并迭代地删除了MSE值最小的块。

每次删除块后，我们对相邻的块（删除块之前和之后的各一个块）进行了1000步的训练。

🚀 立即体验：交互式演示

💻 使用示例

基础用法

import torch
from diffusers import MochiPipeline, MochiTransformer3DModel
from diffusers.utils import export_to_video

transformer = MochiTransformer3DModel.from_pretrained(
    "NimVideo/mochi-1-transformer-42",
    torch_dtype=torch.bfloat16,
)
pipe = MochiPipeline.from_pretrained(
    "genmo/mochi-1-preview", 
    transformer=transformer,
    variant="bf16", 
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.enable_vae_tiling()

prompt = "Close-up of a chameleon's eye, with its scaly skin changing color. Ultra high resolution 4k."
frames = pipe(prompt, num_frames=85).frames[0]

export_to_video(frames, "mochi.mp4", fps=30)

致谢

原始代码和模型来自 mochi。

联系我们

问题请直接在仓库中提出。

📄 许可证

本项目采用Apache-2.0许可证。