Nova D48w1024 Osp480

🚀 NOVA (d48w1024-osp480) モデルカード

このモデルは、テキストプロンプトに基づいてビデオを生成および編集するために使用できます。非量子化ビデオ自己回帰（NOVA）拡散モデルを利用し、事前学習されたテキストエンコーダとVAEビデオトークナイザーを使用しています。

📚 ドキュメント

モデルの詳細

利用例

基本的な使用法

🤗のDiffusersライブラリを使用して、NOVAを簡単かつ効率的に実行する方法です。

pip install diffusers transformers accelerate imageio[ffmpeg]
pip install git+ssh://git@github.com/baaivision/NOVA.git

パイプラインを実行するコードは以下の通りです。

import torch
from diffnext.pipelines import NOVAPipeline
from diffnext.utils import export_to_image, export_to_video

model_id = "BAAI/nova-d48w1024-osp480"
model_args = {"torch_dtype": torch.float16, "trust_remote_code": True}
pipe = NOVAPipeline.from_pretrained(model_id, **model_args)
pipe = pipe.to("cuda")

prompt = "Many spotted jellyfish pulsating under water."

image = pipe(prompt, max_latent_length=1).frames[0, 0]
export_to_image(image, "jellyfish.jpg")

video = pipe(prompt, max_latent_length=9).frames[0]
export_to_video(video, "jellyfish.mp4", fps=12)

# Increase AR and diffusion steps for better video quality.
video = pipe(
  prompt,
  max_latent_length=9,
  num_inference_steps=128,  # default: 64
  num_diffusion_steps=100,  # default: 25
).frames[0]
export_to_video(video, "jellyfish_v2.mp4", fps=12)

用途

直接的な利用

このモデルは研究目的のみを意図しています。可能な研究分野やタスクには以下が含まれます。

• 生成モデルの研究。
• 教育または創造的なツールへの応用。
• アートワークの生成とデザインなどの芸術的なプロセスでの使用。
• 生成モデルの制限とバイアスの調査と理解。
• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。

以下に除外される利用について説明します。

対象外の利用

このモデルは、人やイベントの事実的または真実の表現として訓練されていないため、このようなコンテンツを生成するためにモデルを使用することは、このモデルの能力の範囲外です。

誤用と悪意のある利用

このモデルを個人に残酷なコンテンツを生成するために使用することは、このモデルの誤用です。これには、以下が含まれますが、これらに限定されません。

• 誤情報と偽情報。
• 重大な暴力と残虐な描写。
• 本人の同意なしでの個人のなりすまし。
• 見る人の同意なしの性的なコンテンツ。
• 著作権またはライセンスされた素材の使用条件に違反した共有。
• 差別的なコンテンツまたは有害なステレオタイプの意図的な宣伝または拡散。
• 著作権またはライセンスされた素材の改変コンテンツを使用条件に違反して共有すること。
• 人やその環境、文化、宗教などの侮辱的、非人間的、またはその他有害な表現を生成すること。

制限とバイアス

制限

• モデルの自動符号化部分は損失があります。
• モデルは複雑で判読可能なテキストをレンダリングできません。
• モデルは完全な写実性を達成しません。
• 一般的に指などが適切に生成されない場合があります。
• モデルはウェブデータセット LAION-5B と COYO-700M のサブセットで訓練されており、これには成人向け、暴力的、性的なコンテンツが含まれています。

バイアス

画像生成モデルの能力は印象的ですが、社会的なバイアスを強化または悪化させる可能性もあります。

📄 ライセンス

このモデルは Apache 2.0 License の下で提供されています。