Multiple Input Resshift VFI

🚀 🤖 マルチ入力ResShift拡散VFI

このプロジェクトは、動画フレーム補間と不確実性推定を行うためのモデルです。マルチ入力ResShift拡散を利用して、高品質なフレーム補間を実現します。

🚀 クイックスタート

📦 インストール

まずは、GitHubからソースコードを直接ダウンロードします。

git clone https://github.com/VicFonch/Multi-Input-Resshift-Diffusion-VFI.git

conda環境を作成し、必要なパッケージをすべてインストールします。

conda create -n multi-input-resshift python=3.12
conda activate multi-input-resshift
pip install -r requirements.txt

⚠️ 重要提示

システムがCUDA 12.4と互換性があることを確認してください。互換性がない場合は、現在のCUDAバージョンに合わせてCuPyをインストールしてください。

💻 使用例

基本的な使用法

import os
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt

from torchvision.transforms import Compose, ToTensor, Resize, Normalize
from utils.utils import denorm
from model.hub import MultiInputResShiftHub

model = MultiInputResShiftHub.from_pretrained("vfontech/Multiple-Input-Resshift-VFI").cuda()
model.eval()

img0_path = r"_data\example_images\frame1.png"
img2_path = r"_data\example_images\frame3.png"

mean = std = [0.5]*3
transforms = Compose([
    Resize((256, 448)),
    ToTensor(),
    Normalize(mean=mean, std=std),
])

img0 = transforms(Image.open(img0_path).convert("RGB")).unsqueeze(0).cuda()
img2 = transforms(Image.open(img2_path).convert("RGB")).unsqueeze(0).cuda()
tau = 0.5

img1 = model.reverse_process([img0, img2], tau)

plt.figure(figsize=(10, 5))
plt.subplot(1, 3, 1)
plt.imshow(denorm(img0, mean=mean, std=std).squeeze().permute(1, 2, 0).cpu().numpy())
plt.subplot(1, 3, 2)
plt.imshow(denorm(img1, mean=mean, std=std).squeeze().permute(1, 2, 0).cpu().numpy())
plt.subplot(1, 3, 3)
plt.imshow(denorm(img2, mean=mean, std=std).squeeze().permute(1, 2, 0).cpu().numpy())
plt.show()

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。