Mochi Lora

🚀 Mochi-1 預覽版 LoRA 微調模型

本項目是基於 Mochi-1 預覽版模型進行的 LoRA 微調，旨在利用先進的訓練技術優化模型性能，為文本到視頻的生成任務提供更高效、更優質的解決方案。

🚀 快速開始

使用該模型前，需要安裝 🧨 Diffusers 庫。以下是基本的使用代碼：

from diffusers import MochiPipeline
from diffusers.utils import export_to_video
import torch 

pipe = MochiPipeline.from_pretrained("genmo/mochi-1-preview")
pipe.load_lora_weights("CHANGE_ME")
pipe.enable_model_cpu_offload()

with torch.autocast("cuda", torch.bfloat16):
    video = pipe(
        prompt="CHANGE_ME",
        guidance_scale=6.0,
        num_inference_steps=64,
        height=480,
        width=848,
        max_sequence_length=256,
        output_type="np"
    ).frames[0]
export_to_video(video)

更多詳細信息，包括 LoRA 的加權、合併和融合等操作，請查看 Diffusers 加載 LoRA 的文檔。

✨ 主要特性

• LoRA 微調：基於 Mochi-1 預覽版模型進行 LoRA 微調，提升模型性能。
• 高效訓練：使用 CogVideoX Factory 中的內存優化訓練腳本，結合 TorchAO 和 DeepSpeed 進行訓練。
• 文本到視頻生成：支持文本到視頻的生成任務。

📦 安裝指南

使用該模型需要安裝 🧨 Diffusers 庫，可通過以下命令進行安裝：

pip install diffusers

💻 使用示例

基礎用法

from diffusers import MochiPipeline
from diffusers.utils import export_to_video
import torch 

pipe = MochiPipeline.from_pretrained("genmo/mochi-1-preview")
pipe.load_lora_weights("CHANGE_ME")
pipe.enable_model_cpu_offload()

with torch.autocast("cuda", torch.bfloat16):
    video = pipe(
        prompt="CHANGE_ME",
        guidance_scale=6.0,
        num_inference_steps=64,
        height=480,
        width=848,
        max_sequence_length=256,
        output_type="np"
    ).frames[0]
export_to_video(video)

高級用法

目前文檔未提供高級用法示例，你可以參考 Diffusers 加載 LoRA 的文檔 進行更多操作。

📚 詳細文檔

模型描述

這是對 Mochi-1 預覽版模型 genmo/mochi-1-preview 的 LoRA 微調模型。該模型使用 CogVideoX Factory 進行訓練，該倉庫包含了使用 TorchAO 和 DeepSpeed 對 CogVideoX 和 Mochi 系列模型進行內存優化的訓練腳本。腳本改編自 CogVideoX Diffusers 訓練器。

下載模型

你可以在 Files & Versions 標籤頁中 下載 LoRA。

預期用途與限制

如何使用

# TODO: add an example code snippet for running this diffusion pipeline

限制和偏差

[TODO: provide examples of latent issues and potential remediations]

訓練細節

[TODO: describe the data used to train the model]

📄 許可證

該模型使用 Apache-2.0 許可證。