Transpixar

🚀 TransPixar：以透明度提升文本到視頻生成能力

文本到視頻生成模型在娛樂、廣告和教育等領域有著廣泛的應用。然而，生成包含透明度信息（RGBA）的視頻仍然是一個挑戰，因為相關數據集有限，且現有模型難以適應。透明度通道（Alpha通道）對於視覺效果（VFX）至關重要，它能讓煙霧、反射等透明元素無縫融入場景。本項目提出了 TransPixar 方法，可擴展預訓練視頻模型以生成 RGBA 視頻，同時保留原有的 RGB 生成能力。

• 論文
• 項目主頁
• HuggingFace 演示

代碼倉庫：https://github.com/wileewang/TransPixar

作者信息：

• 王洛州*
• 李一君**
• 陳智飛
• 王瑞賢
• 張志飛
• 張賀
• 林哲
• 陳穎聰†

單位：香港科技大學（廣州）、香港科技大學、Adobe 研究院

* 實習項目 ** 項目負責人 † 通訊作者

🚀 快速開始

本倉庫包含了論文 TransPixar: Advancing Text-to-Video Generation with Transparency 中的模型。

✨ 主要特性

文本到視頻生成模型已經取得了顯著進展，但生成包含透明度信息的 RGBA 視頻仍然是一個挑戰。我們提出的 TransPixar 方法具有以下特性：

• 擴展預訓練模型：在保留原有 RGB 生成能力的基礎上，擴展預訓練視頻模型以生成 RGBA 視頻。
• 擴散變壓器架構：採用擴散變壓器（DiT）架構，結合特定於 Alpha 通道的令牌，並使用基於 LoRA 的微調方法，以高度一致的方式聯合生成 RGB 和 Alpha 通道。
• 優化注意力機制：通過優化注意力機制，保留原始 RGB 模型的優勢，並在有限的訓練數據下實現 RGB 和 Alpha 通道之間的強對齊。

📦 安裝指南

conda create -n TransPixar python=3.10
conda activate TransPixar
pip install -r requirements.txt

📚 詳細文檔

TransPixar LoRA 中心

我們的管道支持各種視頻任務，包括文本到 RGBA 視頻、圖像到 RGBA 視頻。我們為不同任務提供了以下預訓練的 LoRA 權重：

訓練 - RGB + Alpha 聯合生成

我們已經開源了在 RGBA 聯合生成任務上對 Mochi 進行訓練的代碼。詳細信息請參考 Mochi README。

推理

Gradio 演示

除了 Hugging Face 在線演示，用戶還可以通過運行以下命令在本地啟動基於 CogVideoX-5B 的推理演示：

python app.py

命令行界面（CLI）

要生成 RGBA 視頻，請導航到視頻模型的相應目錄並執行以下命令：

python cli.py \
    --lora_path /path/to/lora \
    --prompt "..." \

📄 許可證

本項目採用 Apache-2.0 許可證。

致謝

• finetrainers：我們參考了他們對 Mochi 進行訓練和推理的實現。
• CogVideoX：我們參考了他們對 CogVideoX 進行訓練和推理的實現。

感謝他們的傑出工作以及對開源社區的慷慨貢獻。

引用

@misc{wang2025transpixar,
    title={TransPixar: Advancing Text-to-Video Generation with Transparency}, 
    author={Luozhou Wang and Yijun Li and Zhifei Chen and Jui-Hsien Wang and Zhifei Zhang and He Zhang and Zhe Lin and Yingcong Chen},
    year={2025},
    eprint={2501.03006},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2501.03006}, 
}