Mochi 1 Transformer 42

🚀 🎥 蒸餾Mochi變換器

本倉庫包含用於GenmoAI Mochi-1的蒸餾變換器。該變換器由42個塊組成，而原始變換器有48個塊。

✨ 主要特性

• 蒸餾變換器：減少了塊的數量，從原始的48個塊減少到42個塊。

📚 詳細文檔

訓練細節

我們分析了每個塊之後潛在變量的均方誤差（MSE），並迭代地刪除了MSE值最小的塊。

每次刪除塊後，我們對相鄰的塊（刪除塊之前和之後的各一個塊）進行了1000步的訓練。

🚀 立即體驗：交互式演示

💻 使用示例

基礎用法

import torch
from diffusers import MochiPipeline, MochiTransformer3DModel
from diffusers.utils import export_to_video

transformer = MochiTransformer3DModel.from_pretrained(
    "NimVideo/mochi-1-transformer-42",
    torch_dtype=torch.bfloat16,
)
pipe = MochiPipeline.from_pretrained(
    "genmo/mochi-1-preview", 
    transformer=transformer,
    variant="bf16", 
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.enable_vae_tiling()

prompt = "Close-up of a chameleon's eye, with its scaly skin changing color. Ultra high resolution 4k."
frames = pipe(prompt, num_frames=85).frames[0]

export_to_video(frames, "mochi.mp4", fps=30)

致謝

原始代碼和模型來自 mochi。

聯繫我們

問題請直接在倉庫中提出。

📄 許可證

本項目採用Apache-2.0許可證。