Skyreels V1 Hunyuan T2V

🚀 SkyReels V1: 人間中心のビデオ基礎モデル

SkyReels V1は、最初で最も高度なオープンソースの人間中心のビデオ基礎モデルです。このモデルは、高品質な映画やテレビのクリップを用いて訓練され、テキストから高品質なビデオを生成することができます。

🌐 Github · 👋 Playground · 💬 Discord

このリポジトリには、SkyReels V1のテキストからビデオへのモデルのDiffusers形式のモデル重みが含まれています。推論コードは、私たちのGitHubリポジトリ SkyReels-V1 で見つけることができます。

🚀 クイックスタート

このリポジトリには、SkyReels V1のテキストからビデオへのモデルのDiffusers形式のモデル重みが含まれています。推論コードは、私たちのGitHubリポジトリ SkyReels-V1 で見つけることができます。

✨ 主な機能

導入

SkyReels V1は、最初で最も高度なオープンソースの人間中心のビデオ基礎モデルです。HunyuanVideo をO(10M)の高品質な映画やテレビのクリップでファインチューニングすることで、Skyreels V1は3つの主要な利点を提供します。

1. オープンソースのリーダーシップ：私たちのテキストからビデオへのモデルは、オープンソースモデルの中で最先端（SOTA）の性能を達成しており、KlingやHailuoなどの独自モデルと匹敵します。
2. 高度な顔のアニメーション：33種類の異なる顔の表情を400以上の自然な動きの組み合わせで捉え、人間の感情を正確に反映します。
3. 映画的な照明と美学：高品質なハリウッドレベルの映画やテレビのデータで訓練されており、生成される各フレームは構図、俳優の配置、カメラアングルなどで映画的な品質を持っています。

🔑 主要な特徴

1. 独自開発のデータクリーニングとアノテーションパイプライン

私たちのモデルは、独自開発のデータクリーニングとアノテーションパイプラインに基づいて構築されており、高品質な映画、テレビ、ドキュメンタリーのコンテンツの大規模なデータセットを作成します。

• 表情分類：人間の顔の表情を33種類の異なるタイプに分類します。
• キャラクターの空間認識：3D人体再構築技術を利用して、ビデオ内の複数の人間の空間的な関係を理解し、映画レベルのキャラクター配置を可能にします。
• 行動認識：400以上の行動の意味単位を構築し、人間の行動を正確に理解します。
• シーン理解：衣装、シーン、プロットのクロスモーダル相関分析を行います。

2. 多段階の画像からビデオへの事前学習

私たちの多段階の事前学習パイプラインは、HunyuanVideo の設計にインスパイアされており、以下の段階で構成されています。

• 第1段階：モデルのドメイン転送事前学習：大規模なデータセット（O(10M)の映画やテレビのコンテンツ）を使用して、テキストからビデオへのモデルを人間中心のビデオドメインに適応させます。
• 第2段階：画像からビデオへのモデルの事前学習：第1段階のテキストからビデオへのモデルを、conv-inパラメータを調整することで画像からビデオへのモデルに変換します。この新しいモデルは、第1段階で使用したのと同じデータセットで事前学習されます。
• 第3段階：高品質なファインチューニング：画像からビデオへのモデルを、元のデータセットの高品質なサブセットでファインチューニングし、優れた性能と品質を保証します。

📚 ドキュメント

モデルの紹介

使用方法

詳細については、ガイド を参照してください。

引用

@misc{SkyReelsV1,
  author = {SkyReels-AI},
  title = {Skyreels V1: Human-Centric Video Foundation Model},
  year = {2025},
  publisher = {Huggingface},
  journal = {Huggingface repository},
  howpublished = {\url{https://huggingface.co/Skywork/SkyReels-V1-Hunyuan-T2V}}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。