Wan2.1 T2V 1.3B Crush Smol V0

🚀 Wan-AI/Wan2.1-T2V-1.3BのLoRA微調整モデル

このプロジェクトは、Wan-AI/Wan2.1-T2V-1.3B-Diffusersモデルをfinetrainers/crush-smolデータセットでLoRA微調整したものです。テキストから動画を生成する機能を提供します。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

推論コード

import torch
from diffusers import WanPipeline
from diffusers.utils import export_to_video

pipe = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", torch_dtype=torch.bfloat16
).to("cuda")
pipe.load_lora_weights("finetrainers/Wan2.1-T2V-1.3B-crush-smol-v0", adapter_name="wan-lora")
pipe.set_adapters(["wan-lora"], [0.75])

video = pipe("<my-awesome-prompt>").frames[0]
export_to_video(video, "output.mp4", fps=24)

✨ 主な機能

• テキストから動画生成：入力されたテキストに基づいて動画を生成します。
• LoRA微調整：元のモデルを特定のデータセットで微調整することで、特定のタスクに最適化されたモデルを作成します。

📦 インストール

このモデルを使用するには、diffusersライブラリが必要です。以下のコマンドでインストールできます。

pip install diffusers

💻 使用例

基本的な使用法

import torch
from diffusers import WanPipeline
from diffusers.utils import export_to_video

# パイプラインの初期化
pipe = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", torch_dtype=torch.bfloat16
).to("cuda")
# LoRAウェイトの読み込み
pipe.load_lora_weights("finetrainers/Wan2.1-T2V-1.3B-crush-smol-v0", adapter_name="wan-lora")
# アダプターの設定
pipe.set_adapters(["wan-lora"], [0.75])

# 動画の生成
video = pipe("<my-awesome-prompt>").frames[0]
# 動画のエクスポート
export_to_video(video, "output.mp4", fps=24)

📚 ドキュメント

• コードリポジトリ：https://github.com/a-r-r-o-w/finetrainers
• 学習ログ：https://wandb.ai/aryanvs/finetrainers-wan

📄 ライセンス

このモデルは、他のライセンスの下で提供されています。

⚠️ 重要提示

このチェックポイントは実験的なものであり、汎化性能が低いことが知られています。