Mochi Lora

🚀 Mochi-1 预览版 LoRA 微调模型

本项目是基于 Mochi-1 预览版模型进行的 LoRA 微调，旨在利用先进的训练技术优化模型性能，为文本到视频的生成任务提供更高效、更优质的解决方案。

🚀 快速开始

使用该模型前，需要安装 🧨 Diffusers 库。以下是基本的使用代码：

from diffusers import MochiPipeline
from diffusers.utils import export_to_video
import torch 

pipe = MochiPipeline.from_pretrained("genmo/mochi-1-preview")
pipe.load_lora_weights("CHANGE_ME")
pipe.enable_model_cpu_offload()

with torch.autocast("cuda", torch.bfloat16):
    video = pipe(
        prompt="CHANGE_ME",
        guidance_scale=6.0,
        num_inference_steps=64,
        height=480,
        width=848,
        max_sequence_length=256,
        output_type="np"
    ).frames[0]
export_to_video(video)

更多详细信息，包括 LoRA 的加权、合并和融合等操作，请查看 Diffusers 加载 LoRA 的文档。

✨ 主要特性

• LoRA 微调：基于 Mochi-1 预览版模型进行 LoRA 微调，提升模型性能。
• 高效训练：使用 CogVideoX Factory 中的内存优化训练脚本，结合 TorchAO 和 DeepSpeed 进行训练。
• 文本到视频生成：支持文本到视频的生成任务。

📦 安装指南

使用该模型需要安装 🧨 Diffusers 库，可通过以下命令进行安装：

pip install diffusers

💻 使用示例

基础用法

from diffusers import MochiPipeline
from diffusers.utils import export_to_video
import torch 

pipe = MochiPipeline.from_pretrained("genmo/mochi-1-preview")
pipe.load_lora_weights("CHANGE_ME")
pipe.enable_model_cpu_offload()

with torch.autocast("cuda", torch.bfloat16):
    video = pipe(
        prompt="CHANGE_ME",
        guidance_scale=6.0,
        num_inference_steps=64,
        height=480,
        width=848,
        max_sequence_length=256,
        output_type="np"
    ).frames[0]
export_to_video(video)

高级用法

目前文档未提供高级用法示例，你可以参考 Diffusers 加载 LoRA 的文档 进行更多操作。

📚 详细文档

模型描述

这是对 Mochi-1 预览版模型 genmo/mochi-1-preview 的 LoRA 微调模型。该模型使用 CogVideoX Factory 进行训练，该仓库包含了使用 TorchAO 和 DeepSpeed 对 CogVideoX 和 Mochi 系列模型进行内存优化的训练脚本。脚本改编自 CogVideoX Diffusers 训练器。

下载模型

你可以在 Files & Versions 标签页中 下载 LoRA。

预期用途与限制

如何使用

# TODO: add an example code snippet for running this diffusion pipeline

限制和偏差

[TODO: provide examples of latent issues and potential remediations]

训练细节

[TODO: describe the data used to train the model]

📄 许可证

该模型使用 Apache-2.0 许可证。