Autot2vprompt

🚀 自動テキストからビデオへのプロンプト生成モデル

このモデルは、数語を入力として与えると、完全なテキストからビデオへのプロンプトを生成することができます。

🚀 クイックスタート

このモデルは、VidProMデータセットを使用し、Mistral-7B-v0.1をベースに、8台のA100 GPUでファインチューニングされています。

📦 インストール

モデルのダウンロード

from transformers import pipeline
import torch
pipe = pipeline("text-generation", model="WenhaoWang/AutoT2VPrompt", model_kwargs={"torch_dtype": torch.bfloat16}, device_map="cuda:0")

パラメータの設定

input = "An underwater world"      # テキストからビデオへのプロンプトを生成するための入力テキスト。
max_length = 50                    # 生成されるテキストの最大長。
temperature = 1.2                  # 生成のランダム性を制御します。値が高いほど、よりランダムな出力になります。
top_k = 8                          # 各ステップで考慮される単語の数を、最も可能性の高い上位k個の単語に制限します。
num_return_sequences = 10          # 同じ入力から生成する異なるテキストからビデオへのプロンプトの数。

💻 使用例

基本的な使用法

all_prompts = pipe(input, max_length = max_length, do_sample = True, temperature = temperature, top_k = top_k, num_return_sequences=num_return_sequences)

def process(text):
    text = text.replace('\n', '.')
    text = text.replace('  .', '.')
    text = text[:text.rfind('.')]
    text = text + '.'
    return text

for i in range(num_return_sequences):
    print(process(all_prompts[i]['generated_text']))

これにより、10個のテキストからビデオへのプロンプトが生成され、好きなものを選ぶことができます。

An underwater world, 25 ye boy, with aqua-green eyes, dk sandy blond hair, from the back, and on his back a fish, 23 ye old, weing glasses,ctoon chacte.
An underwater world, the video should capture the essence of tranquility and the beauty of nature.. a woman with short hair weing a green dress sitting at the desk.
An underwater world, the ocean is full of discded items, the water flows, and the light penetrating through the water.
An underwater world.. a woman with red eyes and red lips  is looking forwd.
An underwater world.. an old man sitting in a chair, smoking a pipe, a little smoke coming out of the chair, a man is drinking a glass.
An underwater world. The ocean is filled with bioluminess as the water reflects a soft glow from a bioluminescent phosphorescent light source. The camera slowly moves away and zooms in..
An underwater world. the girl looks at the camera and smiles with happiness..
An underwater world, 1960s horror film..
An underwater world.. 4 men in 1940s style clothes walk ound a gothic castle. night, fe. A girl is running, and there e some flowers along the river.
An underwater world,  -camera pan up . A girl is playing with her cat on a sunny day in the pk. A man is running and then falling down and dying.

📄 ライセンス

このモデルは、CC BY - NC 4.0ライセンスの下でライセンスされています。

📚 ドキュメント

引用

@article{wang2024vidprom,
  title={VidProM: A Million-scale Real Prompt-Gallery Dataset for Text-to-Video Diffusion Models},
  author={Wang, Wenhao and Yang, Yi},
  journal={arXiv preprint arXiv:2403.06098},
  year={2024}
}

謝辞

ファインチューニングのプロセスは、Yaowei Zhengによって支援されました。

連絡先

何か質問があれば、Wenhao Wang (wangwenhao0716@gmail.com)までお問い合わせください。