library_name: diffusers tags:

• 音樂 pipeline_tag: 文本轉音頻

QA-MDT官方Hugging Face Diffusers實現

QAMDT：面向文本生成音樂的質量感知擴散模型 🎶

QADMT通過質量感知訓練技術革新了文本生成音樂領域，有效解決了音頻保真度低和數據集標註薄弱等問題。

採用掩碼擴散變換器（MDT）架構，QADMT在MusicCaps和Song-Describer數據集上實現了最先進的生成效果，顯著提升了音頻質量與音樂表現力。

該模型源自中國科學技術大學的研究論文（論文鏈接），作者團隊包括@changli等學者。

使用指南：

!git lfs install
!git clone https://huggingface.co/jadechoghari/openmusic qa_mdt

此命令會將文件夾名稱從openmusic變更為qa_mdt

pip install -r qa_mdt/requirements.txt
pip install xformers==0.0.26.post1
pip install torchlibrosa==0.0.9 librosa==0.9.2
pip install -q pytorch_lightning==2.1.3 torchlibrosa==0.0.9 librosa==0.9.2 ftfy==6.1.1 braceexpand
pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

from qa_mdt.pipeline import MOSDiffusionPipeline

pipe = MOSDiffusionPipeline()
pipe("現代合成器創造出的未來主義音景")

享受音樂吧！！ 🎶