Openmusic

🚀 QAMDT: Quality-Aware Diffusion for Text-to-Music 🎶

QADMTは、品質意識のあるトレーニングを用いることで、低忠実度のオーディオやデータセットの弱いラベリングなどの問題に取り組み、テキストから音楽を生成する新しいアプローチを提供します。

マスクされた拡散トランスフォーマー（MDT）を使用して、QADMTはMusicCapsとSong-DescriberでSOTAの結果を達成し、品質と音楽性の両方を向上させます。

このアプローチは、中国科学技術大学によるこの論文に基づいており、@changli 他によって執筆されています。

🚀 クイックスタート

インストール

!git lfs install
!git clone https://huggingface.co/jadechoghari/openmusic qa_mdt

このコマンドは、フォルダ名をopenmusicからqa_mdtに変更します。

pip install -r qa_mdt/requirements.txt
pip install xformers==0.0.26.post1
pip install torchlibrosa==0.0.9 librosa==0.9.2
pip install -q pytorch_lightning==2.1.3 torchlibrosa==0.0.9 librosa==0.9.2 ftfy==6.1.1 braceexpand
pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

使用例

基本的な使用法

from qa_mdt.pipeline import MOSDiffusionPipeline

pipe = MOSDiffusionPipeline()
pipe("A modern synthesizer creating futuristic soundscapes.")

🎶 音楽を楽しみましょう！