Tune A VideKO Disney

🚀 Tune-A-VideKO-anything

Tune-A-VideKO-anythingは、特定のトレーニングプロンプトを使用してベースモデルを微調整することで、テキストから動画を生成するモデルです。このモデルを使えば、様々なシーンの動画を生成できます。

🚀 クイックスタート

このモデルを使用するには、まずGitHubリポジトリをクローンし、推論コードを実行する必要があります。

✨ 主な機能

• 特定のトレーニングプロンプトを使用してベースモデルを微調整することで、テキストから動画を生成できます。
• 様々なテストプロンプトを使用して、異なるシーンの動画を生成できます。

📦 インストール

GitHubリポジトリをクローンします。

git clone https://github.com/showlab/Tune-A-Video.git

💻 使用例

基本的な使用法

推論コードを実行します。

from tuneavideo.pipelines.pipeline_tuneavideo import TuneAVideoPipeline
from tuneavideo.models.unet import UNet3DConditionModel
from tuneavideo.util import save_videos_grid
import torch

pretrained_model_path = "kyujinpy/KO-stable-diffusion-disney"
unet_model_path = "kyujinpy/Tune-A-VideKO-disney"
unet = UNet3DConditionModel.from_pretrained(unet_model_path, subfolder='unet', torch_dtype=torch.float16).to('cuda')
pipe = TuneAVideoPipeline.from_pretrained(pretrained_model_path, unet=unet, torch_dtype=torch.float16).to("cuda")
pipe.enable_xformers_memory_efficient_attention()

prompt = "사자가 기타를 치고 있습니다, 모던한 디즈니 스타일"
video = pipe(prompt, video_length=14, height=512, width=512, num_inference_steps=50, guidance_scale=7.5).videos

save_videos_grid(video, f"./{prompt}.gif")

📚 ドキュメント

モデルの説明

• ベースモデル: kyujinpy/KO-stable-diffusion-disney
• トレーニングプロンプト: A bear is playing guitar

サンプル

テストプロンプト: 토끼가 기타를 치고 있습니다, 모던한 디즈니 스타일

テストプロンプト: 잘생긴 왕자가 기타를 치고 있습니다, 모던한 디즈니 스타일

テストプロンプト: 사자가 기타를 치고 있습니다, 모던한 디즈니 스타일

関連論文

• Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
• Stable Diffusion: High-Resolution Image Synthesis with Latent Diffusion Models

📄 ライセンス

このモデルは、CreativeML OpenRAIL-Mライセンスの下で提供されています。