Pika Dissolve V0

🚀 PIKA_DISSOLVE モデル

このモデルは、[THUDM/CogVideoX - 5b](https://huggingface.co/THUDM/CogVideoX - 5b) を [modal - labs/dissolve](https://huggingface.co/datasets/modal - labs/dissolve) データセットでファインチューニングしたものです。テキストからビデオを生成する能力を持ち、様々な物体の溶解シーンを表現できます。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。まず、必要なライブラリをインポートし、モデルをロードします。その後、プロンプトを設定してビデオを生成します。

from diffusers import CogVideoXTransformer3DModel, DiffusionPipeline 
from diffusers.utils import export_to_video
import torch 

transformer = CogVideoXTransformer3DModel.from_pretrained(
    "sayakpaul/pika-dissolve-v0", torch_dtype=torch.bfloat16
)
pipeline = DiffusionPipeline.from_pretrained(
    "THUDM/CogVideoX-5b", transformer=transformer, torch_dtype=torch.bfloat16
).to("cuda")

prompt = """
PIKA_DISSOLVE A slender glass vase, brimming with tiny white pebbles, stands centered on a polished ebony dais. Without warning, the glass begins to dissolve from the edges inward. Wisps of translucent dust swirl upward in an elegant spiral, illuminating each pebble as they drop onto the dais. The gently drifting dust eventually settles, leaving only the scattered stones and faint traces of shimmering powder on the stage.
"""
negative_prompt = "inconsistent motion, blurry motion, worse quality, degenerate outputs, deformed outputs"

video = pipeline(
    prompt=prompt, 
    negative_prompt=negative_prompt, 
    num_frames=81, 
    height=512,
    width=768,
    num_inference_steps=50
).frames[0]
export_to_video(video, "output_vase.mp4", fps=25)

✨ 主な機能

• テキストからビデオ生成：指定したテキストに基づいて、物体が溶解するビデオを生成できます。
• 多様なシーン表現：雪玉、ティーカップ、木のマスク、ガラスの花瓶など、様々な物体の溶解シーンを表現できます。

📦 インストール

このモデルを使用するには、diffusers ライブラリが必要です。以下のコマンドでインストールできます。

pip install diffusers

💻 使用例

基本的な使用法

以下は、ティーカップが溶解するシーンを生成する例です。

# 上記のクイックスタートのコードを参照

高度な使用法

複数のプロンプトを使用して、異なるシーンを生成することができます。

# 各プロンプトを設定
prompts = [
    "PIKA_DISSOLVE A meticulously detailed, tea cup, sits centrally on a dark brown circular pedestal. The cup, seemingly made of clay, begins to dissolve from the bottom up. The disintegration process is rapid but not explosive, with a cloud of fine, light tan dust forming and rising in a swirling, almost ethereal column that expands outwards before slowly descending. The dust particles are individually visible as they float, and the overall effect is one of delicate disintegration rather than shattering. Finally, only the empty pedestal and the intricately patterned marble floor remain.",
    "PIKA_DISSOLVE Resting quietly atop an ancient stone altar, a delicately carved wooden mask starts to crumble from its outer edges. The intricate patterns crack and give way, releasing a fine, smoke-like plume of mahogany-hued particles that dance upwards, then disperse gradually into the hushed atmosphere. As the dust descends, the once captivating mask is reduced to an outline on the weathered altar."
]

for prompt in prompts:
    video = pipeline(
        prompt=prompt, 
        negative_prompt=negative_prompt, 
        num_frames=81, 
        height=512,
        width=768,
        num_inference_steps=50
    ).frames[0]
    # 各ビデオを保存
    video_name = prompt[:20].replace(" ", "_") + ".mp4"
    export_to_video(video, video_name, fps=25)

📚 ドキュメント

• ベースモデル：THUDM/CogVideoX - 5b
• データセット：modal - labs/dissolve
• ライブラリ名：diffusers
• ライセンス：[other](https://huggingface.co/THUDM/CogVideoX - 5b/blob/main/LICENSE)

ウィジェット出力例

📄 ライセンス

このモデルは、[other](https://huggingface.co/THUDM/CogVideoX - 5b/blob/main/LICENSE) ライセンスの下で提供されています。詳細はリンク先を参照してください。