Mochi Lora

🚀 Mochi-1 Preview LoRA Finetune

このプロジェクトは、Mochi-1プレビューモデルを基にしたLoRAファインチューニングを行ったものです。テキストから動画を生成する能力を持ち、Diffusersライブラリを利用しています。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールし、モデルをダウンロードする必要があります。以下に具体的な手順を示します。

✨ 主な機能

• Mochi-1プレビューモデルを基にしたLoRAファインチューニング。
• CogVideoX Factoryを使用したメモリ最適化された学習。
• Diffusersライブラリを利用したテキストから動画を生成する機能。

📦 インストール

このモデルを使用するには、🧨 Diffusers libraryをインストールする必要があります。

💻 使用例

基本的な使用法

from diffusers import MochiPipeline
from diffusers.utils import export_to_video
import torch 

pipe = MochiPipeline.from_pretrained("genmo/mochi-1-preview")
pipe.load_lora_weights("CHANGE_ME")
pipe.enable_model_cpu_offload()

with torch.autocast("cuda", torch.bfloat16):
    video = pipe(
        prompt="CHANGE_ME",
        guidance_scale=6.0,
        num_inference_steps=64,
        height=480,
        width=848,
        max_sequence_length=256,
        output_type="np"
    ).frames[0]
export_to_video(video)

高度な使用法

より詳細な使い方や、LoRAの重み付け、マージ、融合などについては、ドキュメントを参照してください。

📚 ドキュメント

モデルの説明

このモデルは、Mochi-1プレビューモデル genmo/mochi-1-preview のLoRAファインチューニングモデルです。CogVideoX Factoryを使用して学習されており、TorchAO と DeepSpeed を利用したメモリ最適化された学習スクリプトが含まれています。学習スクリプトは CogVideoX Diffusers trainer から採用されています。

モデルのダウンロード

Files & Versionsタブ からLoRAをダウンロードできます。

使用方法

使用には 🧨 Diffusers library がインストールされている必要があります。

想定される用途と制限

使い方

# TODO: add an example code snippet for running this diffusion pipeline

制限とバイアス

[TODO: provide examples of latent issues and potential remediations]

学習の詳細

[TODO: describe the data used to train the model]

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📋 モデル情報