模型概述
模型特點
模型能力
使用案例
🚀 SkyReels V2:無限長度電影生成模型
SkyReels V2 是全球首個採用擴散強制(Diffusion Forcing)框架的無限長度電影生成模型。它融合了多模態大語言模型、多階段預訓練、強化學習和擴散強制等技術,能實現故事生成、圖像到視頻合成等多種實際應用。
📑 技術報告 · 👋 在線體驗 · 💬 Discord社區 · 🤗 Hugging Face · 🤖 ModelScope · 🌐 GitHub
🚀 快速開始
安裝
# 克隆倉庫
git clone https://github.com/SkyworkAI/SkyReels-V2
cd SkyReels-V2
# 安裝依賴。測試環境使用Python 3.10.12
pip install -r requirements.txt
模型下載
你可以從Hugging Face下載模型:
類型 | 模型變體 | 推薦高度/寬度/幀數 | 鏈接 |
---|---|---|---|
擴散強制(Diffusion Forcing) | 1.3B - 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
擴散強制(Diffusion Forcing) | 5B - 540P | 544 * 960 * 97f | 即將推出 |
擴散強制(Diffusion Forcing) | 5B - 720P | 720 * 1280 * 121f | 即將推出 |
擴散強制(Diffusion Forcing) | 14B - 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
擴散強制(Diffusion Forcing) | 14B - 720P | 720 * 1280 * 121f | 🤗 Huggingface 🤖 ModelScope |
文本到視頻(Text - to - Video) | 1.3B - 540P | 544 * 960 * 97f | 即將推出 |
文本到視頻(Text - to - Video) | 5B - 540P | 544 * 960 * 97f | 即將推出 |
文本到視頻(Text - to - Video) | 5B - 720P | 720 * 1280 * 121f | 即將推出 |
文本到視頻(Text - to - Video) | 14B - 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
文本到視頻(Text - to - Video) | 14B - 720P | 720 * 1280 * 121f | 🤗 Huggingface 🤖 ModelScope |
圖像到視頻(Image - to - Video) | 1.3B - 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
圖像到視頻(Image - to - Video) | 5B - 540P | 544 * 960 * 97f | 即將推出 |
圖像到視頻(Image - to - Video) | 5B - 720P | 720 * 1280 * 121f | 即將推出 |
圖像到視頻(Image - to - Video) | 14B - 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
圖像到視頻(Image - to - Video) | 14B - 720P | 720 * 1280 * 121f | 🤗 Huggingface 🤖 ModelScope |
鏡頭導演(Camera Director) | 5B - 540P | 544 * 960 * 97f | 即將推出 |
鏡頭導演(Camera Director) | 5B - 720P | 720 * 1280 * 121f | 即將推出 |
鏡頭導演(Camera Director) | 14B - 720P | 720 * 1280 * 121f | 即將推出 |
下載完成後,在生成命令中設置模型路徑。
單GPU推理
長視頻生成的擴散強制模型
擴散強制(Diffusion Forcing) 版本的模型允許我們生成無限長度的視頻。該模型支持文本到視頻(T2V) 和圖像到視頻(I2V) 任務,並且可以在同步和異步模式下進行推理。以下是兩個長視頻生成的運行腳本示例。如果你想調整推理參數,例如視頻時長、推理模式,請先閱讀下面的注意事項。
同步生成10秒視頻
model_id=Skywork/SkyReels-V2-DF-14B-540P
# 同步推理
python3 generate_video_df.py \
--model_id ${model_id} \
--resolution 540P \
--ar_step 0 \
--base_num_frames 97 \
--num_frames 257 \
--overlap_history 17 \
--prompt "黎明時分,一隻優雅的白天鵝彎曲著脖子,羽毛細膩,在寧靜的湖面上游動,它的倒影完美地映在平靜的水中,水面上瀰漫著薄霧,天鵝偶爾將頭浸入水中覓食。" \
--addnoise_condition 20 \
--offload \
--teacache \
--use_ret_steps \
--teacache_thresh 0.3
異步生成30秒視頻
model_id=Skywork/SkyReels-V2-DF-14B-540P
# 異步推理
python3 generate_video_df.py \
--model_id ${model_id} \
--resolution 540P \
--ar_step 5 \
--causal_block_size 5 \
--base_num_frames 97 \
--num_frames 737 \
--overlap_history 17 \
--prompt "黎明時分,一隻優雅的白天鵝彎曲著脖子,羽毛細膩,在寧靜的湖面上游動,它的倒影完美地映在平靜的水中,水面上瀰漫著薄霧,天鵝偶爾將頭浸入水中覓食。" \
--addnoise_condition 20 \
--offload
⚠️ 重要提示
- 如果你想運行圖像到視頻(I2V) 任務,請在命令中添加
--image ${image_path}
,並且最好使用類似文本到視頻(T2V) 的提示詞,其中包含一些第一幀圖像的描述。- 對於長視頻生成,你可以通過更改
--num_frames
來調整視頻時長,例如--num_frames 257
生成10秒視頻,--num_frames 377
生成15秒視頻,--num_frames 737
生成30秒視頻,--num_frames 1457
生成60秒視頻。這個幀數與指定時長的邏輯幀數並不嚴格對齊,但與一些訓練參數對齊,這意味著它可能表現更好。當你使用causal_block_size > 1
的異步推理時,需要謹慎設置--num_frames
。- 你可以使用
--ar_step 5
啟用異步推理。在異步推理時,建議設置--causal_block_size 5
,而同步生成時不需要設置。請記住,每次迭代輸入到模型中的幀隱變量數量,例如基本幀隱變量數量(例如,對於base_num_frames = 97
,(97 - 1) // 4 + 1 = 25)和最後一次迭代的數量(例如,對於base_num_frames = 97
,num_frames = 237
,overlap_history = 17
,(237 - 97 - (97 - 17) x 1 + 17 - 1) // 4 + 1 = 20),必須能被causal_block_size
整除。如果你覺得計算和設置合適的值太困難,只需使用上面推薦的設置即可。異步推理會需要更多步驟來擴散整個序列,這意味著它會比同步模式慢。在我們的實驗中,異步推理可能會提高指令遵循和視覺一致性性能。- 為了減少峰值顯存使用,只需降低
--base_num_frames
,例如降至77或57,同時保持你想要生成的視頻長度--num_frames
不變。這可能會稍微降低視頻質量,並且不應該設置得太小。--addnoise_condition
用於通過向乾淨條件添加一些噪聲來幫助平滑長視頻生成。噪聲過大可能會導致不一致。推薦值為20,你可以嘗試更大的值,但建議不超過50。- 使用1.3B模型生成540P視頻大約需要14.7GB的峰值顯存,而使用14B模型生成相同分辨率的視頻大約需要51.2GB的峰值顯存。
文本到視頻和圖像到視頻
# 運行文本到視頻生成
model_id=Skywork/SkyReels-V2-T2V-14B-540P
python3 generate_video.py \
--model_id ${model_id} \
--resolution 540P \
--num_frames 97 \
--guidance_scale 6.0 \
--shift 8.0 \
--fps 24 \
--prompt "一座寧靜的湖泊被高聳的山脈環繞,幾隻天鵝優雅地在水面上滑行,陽光在水面上跳躍。" \
--offload \
--teacache \
--use_ret_steps \
--teacache_thresh 0.3
⚠️ 重要提示
- 當使用圖像到視頻(I2V) 模型時,你必須使用
--image ${image_path}
參數提供輸入圖像。對於I2V模型,建議設置--guidance_scale 5.0
和--shift 3.0
。- 使用1.3B模型生成540P視頻大約需要14.7GB的峰值顯存,而使用14B模型生成相同分辨率的視頻大約需要43.4GB的峰值顯存。
提示詞增強器
提示詞增強器基於 Qwen2.5 - 32B - Instruct 實現,並通過 --prompt_enhancer
參數使用。它對於短提示詞效果理想,而對於長提示詞,可能會生成過長的提示詞,導致生成的視頻過度飽和。如果你使用 --prompt_enhancer
,GPU的峰值內存為64G +。如果你想單獨獲取增強後的提示詞,也可以單獨運行提示詞增強器腳本進行測試。步驟如下:
cd skyreels_v2_infer/pipelines
python3 prompt_enhancer.py --prompt "一座寧靜的湖泊被高聳的山脈環繞,幾隻天鵝優雅地在水面上滑行,陽光在水面上跳躍。"
⚠️ 重要提示
- 如果使用
--use_usp
,則不允許使用--prompt_enhancer
。我們建議先運行skyreels_v2_infer/pipelines/prompt_enhancer.py
腳本來生成增強後的提示詞,然後再啟用--use_usp
參數。
高級配置選項
以下是你可以自定義的視頻生成關鍵參數:
參數 | 推薦值 | 描述 |
---|---|---|
--prompt | 用於生成視頻的文本描述 | |
--image | 圖像到視頻生成的輸入圖像路徑 | |
--resolution | 540P或720P | 輸出視頻分辨率(根據模型類型選擇) |
--num_frames | 97或121 | 要生成的總幀數(540P模型為97,720P模型為121) |
--inference_steps | 50 | 去噪步驟數 |
--fps | 24 | 輸出視頻的幀率 |
--shift | 8.0或5.0 | 流匹配調度器參數(T2V為8.0,I2V為5.0) |
--guidance_scale | 6.0或5.0 | 控制文本遵循強度(T2V為6.0,I2V為5.0) |
--seed | 用於可重複結果的固定種子(省略則隨機生成) | |
--offload | True | 將模型組件卸載到CPU以減少顯存使用(推薦) |
--use_usp | True | 啟用xDiT USP進行多GPU加速 |
--outdir | ./video_out | 生成視頻的保存目錄 |
--prompt_enhancer | True | 將提示詞擴展為更詳細的描述 |
--teacache | False | 啟用teacache以加快推理速度 |
--teacache_thresh | 0.2 | 加速越高,質量可能越差 |
--use_ret_steps | False | teacache的保留步驟 |
擴散強制附加參數
參數 | 推薦值 | 描述 |
---|---|---|
--ar_step | 0 | 控制異步推理(0為同步模式) |
--base_num_frames | 97或121 | 基本幀數(540P為97,720P為121) |
--overlap_history | 17 | 長視頻中用於平滑過渡的重疊幀數 |
--addnoise_condition | 20 | 提高長視頻生成的一致性 |
--causal_block_size | 5 | 異步推理(--ar_step > 0 )時推薦設置 |
使用xDiT USP進行多GPU推理
我們使用 xDiT USP來加速推理。例如,使用2個GPU生成視頻,可以使用以下命令:
擴散強制
model_id=Skywork/SkyReels-V2-DF-14B-540P
# 擴散強制同步推理
torchrun --nproc_per_node=2 generate_video_df.py \
--model_id ${model_id} \
--resolution 540P \
--ar_step 0 \
--base_num_frames 97 \
--num_frames 257 \
--overlap_history 17 \
--prompt "黎明時分,一隻優雅的白天鵝彎曲著脖子,羽毛細膩,在寧靜的湖面上游動,它的倒影完美地映在平靜的水中,水面上瀰漫著薄霧,天鵝偶爾將頭浸入水中覓食。" \
--addnoise_condition 20 \
--use_usp \
--offload \
--seed 42
文本到視頻和圖像到視頻
# 運行文本到視頻生成
model_id=Skywork/SkyReels-V2-T2V-14B-540P
torchrun --nproc_per_node=2 generate_video.py \
--model_id ${model_id} \
--resolution 540P \
--num_frames 97 \
--guidance_scale 6.0 \
--shift 8.0 \
--fps 24 \
--offload \
--prompt "一座寧靜的湖泊被高聳的山脈環繞,幾隻天鵝優雅地在水面上滑行,陽光在水面上跳躍。" \
--use_usp \
--seed 42
⚠️ 重要提示
- 當使用圖像到視頻(I2V) 模型時,你必須使用
--image ${image_path}
參數提供輸入圖像。對於I2V模型,建議設置--guidance_scale 5.0
和--shift 3.0
。
✨ 主要特性
無限長度視頻生成
SkyReels V2採用擴散強制(Diffusion Forcing)框架,能夠生成無限長度的視頻,突破了傳統視頻生成模型在視頻時長上的限制。
多任務支持
支持文本到視頻(T2V)、圖像到視頻(I2V)等多種任務,滿足不同的應用場景需求。
高性能表現
在多個評估指標上表現出色,如在人類評估的指令遵循、運動質量、一致性和視覺質量等維度,以及VBench的自動評估中,都展現出了優秀的性能。
多技術融合
融合了多模態大語言模型(MLLM)、多階段預訓練、強化學習和擴散強制等技術,實現了全面優化。
豐富的應用場景
支持故事生成、圖像到視頻合成、鏡頭導演功能以及多主體一致的視頻生成等多種實際應用。
🎥 演示
📑 TODO列表
- [x] 技術報告
- [x] 14B和1.3B模型系列的檢查點
- [x] 單GPU和多GPU推理代碼
- [x] SkyCaptioner - V1:視頻字幕模型
- [x] 提示詞增強器
- [ ] Diffusers集成
- [ ] 5B模型系列的檢查點
- [ ] 鏡頭導演模型的檢查點
- [ ] 步驟和引導蒸餾模型的檢查點
📚 詳細文檔
摘要
近期視頻生成領域的進展主要由擴散模型和自迴歸框架推動,但在協調提示遵循、視覺質量、運動動態和視頻時長方面仍存在關鍵挑戰:為了提高時間視覺質量而犧牲運動動態,為了優先考慮分辨率而限制視頻時長(5 - 10秒),以及由於通用多模態大語言模型(MLLM)無法解釋電影語法(如鏡頭構圖、演員表情和相機運動)而導致的鏡頭感知生成不足。這些相互交織的限制阻礙了逼真的長視頻合成和專業電影風格的生成。
為了解決這些限制,我們推出了SkyReels V2,這是全球首個使用擴散強制(Diffusion Forcing)框架的無限長度電影生成模型。我們的方法結合了多模態大語言模型(MLLM)、多階段預訓練、強化學習和擴散強制技術,以實現全面優化。除了技術創新外,SkyReels V2還支持多種實際應用,包括故事生成、圖像到視頻合成、鏡頭導演功能,以及通過我們的 Skyreels - A2 系統實現多主體一致的視頻生成。
SkyReels V2的方法論
SkyReels V2的方法論由幾個相互關聯的組件組成。它始於一個全面的數據處理管道,用於準備各種高質量的訓練數據。其核心是視頻字幕器架構,為視頻內容提供詳細的註釋。該系統採用多任務預訓練策略來構建基本的視頻生成能力。訓練後的優化包括強化學習以提高運動質量、擴散強制訓練以生成擴展視頻,以及高質量的監督微調(SFT)階段以進行視覺細化。模型在優化的計算基礎設施上運行,以實現高效的訓練和推理。SkyReels V2支持多種應用,包括故事生成、圖像到視頻合成、鏡頭導演功能和元素到視頻生成。
SkyReels V2的關鍵貢獻
視頻字幕器
SkyCaptioner - V1 作為我們的數據註釋視頻字幕模型。該模型基於基礎模型 Qwen2.5 - VL - 72B - Instruct 的字幕結果和子專家字幕器在平衡視頻數據上進行訓練。平衡視頻數據是一個精心策劃的約200萬個視頻的數據集,以確保概念平衡和註釋質量。基於 Qwen2.5 - VL - 7B - Instruct 基礎模型,SkyCaptioner - V1 進行了微調,以提高在特定領域視頻字幕任務中的性能。為了與最先進的模型進行性能比較,我們使用1000個樣本的測試集對不同字幕領域的準確性進行了手動評估。提出的 SkyCaptioner - V1 在基線模型中實現了最高的平均準確率,並在與鏡頭相關的領域顯示出顯著的結果。
模型 | Qwen2.5 - VL - 7B - Ins. | Qwen2.5 - VL - 72B - Ins. | Tarsier2 - Recap - 7b | SkyCaptioner - V1 |
---|---|---|---|---|
平均準確率 | 51.4% | 58.7% | 49.4% | 76.3% |
鏡頭類型 | 76.8% | 82.5% | 60.2% | 93.7% |
鏡頭角度 | 60.0% | 73.7% | 52.4% | 89.8% |
鏡頭位置 | 28.4% | 32.7% | 23.6% | 83.1% |
相機運動 | 62.0% | 61.2% | 45.3% | 85.3% |
表情 | 43.6% | 51.5% | 54.3% | 68.8% |
TYPES_type | 43.5% | 49.7% | 47.6% | 82.5% |
TYPES_sub_type | 38.9% | 44.9% | 45.9% | 75.4% |
外觀 | 40.9% | 52.0% | 45.6% | 59.3% |
動作 | 32.4% | 52.0% | 69.8% | 68.8% |
位置 | 35.4% | 48.6% | 45.5% | 57.5% |
是否為主主體 | 58.5% | 68.7% | 69.7% | 80.9% |
環境 | 70.4% | 72.7% | 61.4% | 70.5% |
照明 | 77.1% | 80.0% | 21.2% | 76.5% |
強化學習
受之前大語言模型(LLM)成功的啟發,我們提出通過強化學習來提高生成模型的性能。具體來說,我們專注於運動質量,因為我們發現生成模型的主要缺點是:
- 生成模型在處理大的、可變形的運動時表現不佳。
- 生成的視頻可能違反物理定律。
為了避免在其他指標(如文本對齊和視頻質量)上的下降,我們確保偏好數據對在文本對齊和視頻質量上具有可比性,而僅運動質量不同。這一要求在獲取偏好註釋時帶來了更大的挑戰,因為人工註釋的成本本來就較高。為了解決這個挑戰,我們提出了一個半自動管道,將自動生成的運動對和人工註釋結果進行戰略性結合。這種混合方法不僅擴大了數據規模,還通過精心策劃的質量控制提高了與人類偏好的一致性。利用這個增強的數據集,我們首先訓練了一個專門的獎勵模型,以捕捉配對樣本之間的通用運動質量差異。這個學習到的獎勵函數隨後指導直接偏好優化(DPO)的樣本選擇過程,提高了生成模型的運動質量。
擴散強制
我們引入了擴散強制Transformer,以解鎖模型生成長視頻的能力。擴散強制是一種訓練和採樣策略,其中每個令牌被分配一個獨立的噪聲水平。這允許令牌根據任意的、每個令牌的時間表進行去噪。從概念上講,這種方法類似於一種部分掩碼形式:噪聲為零的令牌完全未被掩碼,而完全噪聲則完全掩碼它。擴散強制訓練模型“解掩碼”任何可變噪聲令牌的組合,使用較乾淨的令牌作為條件信息來指導噪聲令牌的恢復。在此基礎上,我們的擴散強制Transformer可以根據前一段的最後幾幀無限擴展視頻生成。請注意,同步全序列擴散是擴散強制的一種特殊情況,其中所有令牌共享相同的噪聲水平。這種關係使我們能夠從全序列擴散模型微調擴散強制Transformer。
高質量監督微調(SFT)
我們分別在540p和720p分辨率下實施了兩個連續的高質量監督微調(SFT)階段,第一個SFT階段在預訓練後但在強化學習(RL)階段之前立即進行。這個第一階段的SFT作為一個概念平衡訓練器,基於僅使用fps24視頻數據的基礎模型的預訓練結果,同時戰略性地移除FPS嵌入組件以簡化架構。使用高質量概念平衡的樣本進行訓練,這個階段為後續的訓練過程建立了優化的初始化參數。在此之後,我們在完成擴散強制階段後在720p分辨率下執行了第二個高分辨率SFT,納入了相同的損失公式和通過手動過濾的更高質量概念平衡數據集。這個最終的細化階段專注於提高分辨率,從而進一步提高整體視頻質量。
性能
為了全面評估我們提出的方法,我們構建了SkyReels - Bench進行人類評估,並利用開源的 V - Bench 進行自動評估。這使我們能夠將我們的模型與最先進的(SOTA)基線進行比較,包括開源和專有模型。
人類評估
對於人類評估,我們設計了包含1020個文本提示的SkyReels - Bench,系統地評估了三個維度:指令遵循、運動質量、一致性和視覺質量。這個基準旨在評估文本到視頻(T2V)和圖像到視頻(I2V)生成模型,提供跨不同生成範式的全面評估。為了確保公平性,所有模型都在默認設置下以一致的分辨率進行評估,並且不進行生成後的過濾。
文本到視頻模型
模型名稱 | 平均得分 | 指令遵循 | 一致性 | 視覺質量 | 運動質量 |
---|---|---|---|---|---|
Runway - Gen3 Alpha | 2.53 | 2.19 | 2.57 | 3.23 | 2.11 |
HunyuanVideo - 13B | 2.82 | 2.64 | 2.81 | 3.20 | 2.61 |
Kling - 1.6 STD Mode | 2.99 | 2.77 | 3.05 | 3.39 | 2.76 |
Hailuo - 01 | 3.0 | 2.8 | 3.08 | 3.29 | 2.74 |
Wan2.1 - 14B | 3.12 | 2.91 | 3.31 | 3.54 | 2.71 |
SkyReels - V2 | 3.14 | 3.15 | 3.35 | 3.34 | 2.74 |
評估表明,我們的模型在指令遵循(3.15) 方面比基線方法取得了顯著進展,同時在不犧牲一致性(3.35) 的情況下,在運動質量(2.74) 上保持了有競爭力的表現。
圖像到視頻模型
模型 | 平均得分 | 指令遵循 | 一致性 | 視覺質量 | 運動質量 |
---|---|---|---|---|---|
HunyuanVideo - 13B | 2.84 | 2.97 | 2.95 | 2.87 | 2.56 |
Wan2.1 - 14B | 2.85 | 3.10 | 2.81 | 3.00 | 2.48 |
Hailuo - 01 | 3.05 | 3.31 | 2.58 | 3.55 | 2.74 |
Kling - 1.6 Pro Mode | 3.4 | 3.56 | 3.03 | 3.58 | 3.41 |
Runway - Gen4 | 3.39 | 3.75 | 3.2 | 3.4 | 3.37 |
SkyReels - V2 - DF | 3.24 | 3.64 | 3.21 | 3.18 | 2.93 |
SkyReels - V2 - I2V | 3.29 | 3.42 | 3.18 | 3.56 | 3.01 |
我們的結果表明,SkyReels - V2 - I2V(3.29) 和 SkyReels - V2 - DF(3.24) 在開源模型中實現了最先進的性能,在所有質量維度上都顯著優於HunyuanVideo - 13B(2.84)和Wan2.1 - 14B(2.85)。SkyReels - V2 - I2V的平均得分達到3.29,與專有模型Kling - 1.6(3.4)和Runway - Gen4(3.39)表現相當。
VBench
為了客觀地將SkyReels V2模型與其他領先的開源文本到視頻模型進行比較,我們使用公共基準 V - Bench 進行了全面評估。我們的評估特別利用了基準的較長版本提示詞。為了與基線模型進行公平比較,我們嚴格遵循它們推薦的推理設置。
模型 | 總得分 | 質量得分 | 語義得分 |
---|---|---|---|
OpenSora 2.0 | 81.5 % | 82.1 % | 78.2 % |
CogVideoX1.5 - 5B | 80.3 % | 80.9 % | 77.9 % |
HunyuanVideo - 13B | 82.7 % | 84.4 % | 76.2 % |
Wan2.1 - 14B | 83.7 % | 84.2 % | 81.4 % |
SkyReels - V2 | 83.9 % | 84.7 % | 80.8 % |
VBench結果表明,SkyReels V2在所有比較模型中表現出色,包括HunyuanVideo - 13B和Wan2.1 - 14B,具有最高的總得分(83.9%) 和質量得分(84.7%)。在這次評估中,語義得分略低於Wan2.1 - 14B,但在人類評估中我們優於Wan2.1 - 14B,主要差距歸因於V - Bench對鏡頭場景語義遵循的評估不足。
🔧 技術細節
數據處理
SkyReels V2採用了全面的數據處理管道,用於準備各種高質量的訓練數據,為模型的訓練提供了堅實的數據基礎。
視頻字幕器架構
基於 Qwen2.5 - VL - 72B - Instruct 和 Qwen2.5 - VL - 7B - Instruct 構建的視頻字幕器,為視頻內容提供詳細的註釋,有助於提高模型對視頻內容的理解和生成能力。
多任務預訓練
通過多任務預訓練策略,模型構建了基本的視頻生成能力,為後續的優化和應用奠定了基礎。
強化學習
為了提高生成模型的運動質量,採用了強化學習方法。通過構建半自動管道,結合自動生成的運動對和人工註釋結果,訓練獎勵模型,指導直接偏好優化(DPO)的樣本選擇過程。
擴散強制
引入擴散強制Transformer,通過為每個令牌分配獨立的噪聲水平,實現了長視頻的生成。同步全序列擴散是擴散強制的一種特殊情況,使得可以從全序列擴散模型微調擴散強制Transformer。
高質量監督微調(SFT)
在540p和720p分辨率下分別實施了兩個連續的高質量監督微調(SFT)階段,通過使用高質量概念平衡的樣本和手動過濾的數據集,提高了模型的視覺質量和分辨率。
📄 許可證
本項目採用 skywork - license 許可證。
致謝
我們要感謝 Wan 2.1、XDit 和 Qwen 2.5 倉庫的貢獻者,感謝他們的開放研究和貢獻。
引用
@misc{chen2025skyreelsv2infinitelengthfilmgenerative,
title={SkyReels-V2: Infinite-length Film Generative Model},
author={Guibin Chen and Dixuan Lin and Jiangping Yang and Chunze Lin and Junchen Zhu and Mingyuan Fan and Hao Zhang and Sheng Chen and Zheng Chen and Chengcheng Ma and Weiming Xiong and Wei Wang and Nuo Pang and Kang Kang and Zhiheng Xu and Yuzhe Jin and Yupeng Liang and Yubing Song and Peng Zhao and Boyuan Xu and Di Qiu and Debang Li and Zhengcong Fei and Yang Li and Yahui Zhou},
year={2025},
eprint={2504.13074},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2504.13074},
}





