RCNA MINI

🚀 RCNA MINI

RCNA MINI は、高品質な4ステップのテキストから動画への出力を生成するために設計されたコンパクトな LoRA (低ランク適応) モデルです。4秒から16秒の動画クリップを作成でき、豊富な詳細と滑らかな遷移を持つ短いアニメーションの生成に最適です。

🚀 クイックスタート

RCNA MINIは、低ランク適応を使用して拡散モデルを微調整するLoRAアーキテクチャに基づいています。これにより、完全なモデルの再トレーニングと比較して、高速な生成と少ない計算オーバーヘッドが実現されます。

✨ 主な機能

• 4ステップのテキストから動画への変換：テキストプロンプトからわずか4ステップで動画を生成します。
• 動画の長さ：4秒から16秒の動画を生成できます。
• 高品質：高解像度で詳細な出力 (最大8K) をサポートします。
• 高速サンプリング：分離された一貫性学習を利用して、モデルは品質を維持しながら速度が最適化されています。

💻 使用例

基本的な使用法

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter, DiffusionPipeline
from diffusers.utils import export_to_gif

# Load AnimateLCM for video generation
adapter = MotionAdapter.from_pretrained("Binarybardakshat/RCNA_MINI")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter, torch_dtype=torch.float16)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("Binarybardakshat/RCNA_MINI", weight_name="RCNA_LORA_MINI_1.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

# Generate video using RCNA MINI
output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=2.0,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm.gif")
print("Video and image generation complete!")

📚 ドキュメント

出力例

• プロンプト: "Astronaut in a jungle, cold color palette, muted colors, detailed, 8K"
  • 豊富な詳細と滑らかな動きを持つ高品質の動画を生成します。

応用例

• ソーシャルメディアコンテンツ用の短編アニメーション
• クリエイティブプロジェクト用の動画生成
• テキスト記述に基づく芸術的な動画生成

🔧 技術詳細

モデルの詳細

📄 ライセンス

このモデルは MIT License の下でライセンスされています。