Mochi 1 Transformer 42

🚀 🎥 蒸留されたMochi Transformer

このリポジトリには、genmoai mochi-1用の蒸留されたトランスフォーマーが含まれています。このトランスフォーマーは42ブロックで構成されており、オリジナルのトランスフォーマーは48ブロックです。

✨ 主要特性

トレーニングの詳細

各ブロック後の潜在空間の平均二乗誤差（MSE）を分析し、MSEの値が最小のブロックを反復的に削除しました。

各ブロックを削除した後、削除されたブロックの前後の隣接するブロックを1000ステップでトレーニングしました。

🚀 ここで試してみる: インタラクティブデモ

💻 使用例

基本的な使用法

import torch
from diffusers import MochiPipeline, MochiTransformer3DModel
from diffusers.utils import export_to_video

transformer = MochiTransformer3DModel.from_pretrained(
    "NimVideo/mochi-1-transformer-42",
    torch_dtype=torch.bfloat16,
)
pipe = MochiPipeline.from_pretrained(
    "genmo/mochi-1-preview", 
    transformer=transformer,
    variant="bf16", 
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.enable_vae_tiling()

prompt = "Close-up of a chameleon's eye, with its scaly skin changing color. Ultra high resolution 4k."
frames = pipe(prompt, num_frames=85).frames[0]

export_to_video(frames, "mochi.mp4", fps=30)

📚 詳細ドキュメント

謝辞

元のコードとモデルは mochi から取得しています。

連絡先

問題は直接リポジトリで報告してください。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。