Potat1

🚀 Potat 1️⃣

Potat 1️⃣は、初のオープンソースの1024x576テキスト・ツー・ビデオモデルです🥳。このモデルは、テキスト入力から高品質なビデオを生成する能力を備えています。

🐣 新しいアップデートを受け取るには、こちらをフォローしてください https://twitter.com/camenduru
🔥 Discordサーバーに参加しましょう https://discord.gg/k5BwmmvJJU

📦 モデルリンク

• https://huggingface.co/vdo/potat1-5000/tree/main
• https://huggingface.co/vdo/potat1-10000/tree/main
• https://huggingface.co/vdo/potat1-10000-base-text-encoder/tree/main
• https://huggingface.co/vdo/potat1-15000/tree/main
• https://huggingface.co/vdo/potat1-20000/tree/main
• https://huggingface.co/vdo/potat1-25000/tree/main
• https://huggingface.co/vdo/potat1-30000/tree/main
• https://huggingface.co/vdo/potat1-35000/tree/main
• https://huggingface.co/vdo/potat1-40000/tree/main
• https://huggingface.co/vdo/potat1-45000/tree/main
• https://huggingface.co/vdo/potat1-50000/tree/main
• https://huggingface.co/vdo/potat1-50000-base-text-encoder/tree/main = https://huggingface.co/camenduru/potat1 (ここにいます)

🔧 モデル情報

📚 データセットと設定

データセットと設定に関する詳細は、こちらを参照してください。 https://huggingface.co/camenduru/potat1_dataset/tree/main

🛠️ ファインチューニング

ファインチューニングに使用したツールやリポジトリは以下の通りです。

• https://github.com/Breakthrough/PySceneDetect
• https://github.com/ExponentialML/Video-BLIP2-Preprocessor
• https://github.com/ExponentialML/Text-To-Video-Finetuning
• https://github.com/camenduru/Text-To-Video-Finetuning-colab

🗄️ ベースモデル

• https://huggingface.co/damo-vilab/modelscope-damo-text-to-video-synthesis
• https://www.modelscope.cn/models/damo/text-to-video-synthesis

🙏 謝辞

このプロジェクトの実現に貢献してくれた皆様に感謝します。

• damo-vilab ❤
• ExponentialML ❤
• kabachuha ❤
• @DiffusersLib ❤
• @LambdaAPI ❤
• @cerspense ❤
• @CiaraRowles1 ❤
• @p1atdev_art ❤

また、重要なバグレポートをしてくれたOrelliusさんにも感謝します❤。

💻 試してみる

是非このモデルを試してみてください🐣。 https://github.com/camenduru/text-to-video-synthesis-colab

Potat 2️⃣は現在開発中です♨。