🚀 MAGNeT - Medium - 1.5B - 10secs
MAGNeT 是一个文本到音乐和文本到声音的模型,能够根据文本描述生成高质量的音频样本。它基于 Transformer 架构,为音乐生成领域带来了高效且优质的解决方案。
🚀 快速开始
🤗 Transformers 使用方法
即将推出...
Audiocraft 使用方法
你可以通过原始的 Audiocraft 库 在本地运行 MAGNeT:
- 首先安装
audiocraft
库
pip install git+https://github.com/facebookresearch/audiocraft.git
- 确保安装了
ffmpeg
:
apt-get install ffmpeg
- 运行以下 Python 代码:
from audiocraft.models import MAGNeT
from audiocraft.data.audio import audio_write
model = MAGNeT.get_pretrained("facebook/magnet-medium-10secs")
descriptions = ["happy rock", "energetic EDM"]
wav = model.generate(descriptions)
for idx, one_wav in enumerate(wav):
audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness")
✨ 主要特性
- 能够根据文本描述生成高质量的音频样本。
- 采用单个非自回归 Transformer 生成所有 4 个码本,无需语义令牌调节或模型级联。
📚 详细文档
模型详情
@misc{ziv2024masked,
title={Masked Audio Generation using a Single Non-Autoregressive Transformer},
author={Alon Ziv and Itai Gat and Gael Le Lan and Tal Remez and Felix Kreuk and Alexandre Défossez and Jade Copet and Gabriel Synnaeve and Yossi Adi},
year={2024},
eprint={2401.04577},
archivePrefix={arXiv},
primaryClass={cs.SD}
}
| 许可证 | 代码采用 MIT 许可证发布,模型权重采用 CC - BY - NC 4.0 许可证发布 |
| 反馈渠道 | 可通过项目的 Github 仓库 发送问题或评论,或提交 issue |
预期用途
主要预期用途
- 基于人工智能的音乐生成研究,如探索和更好地理解生成模型的局限性,以进一步推动科学发展。
- 由文本引导的音乐生成,帮助机器学习爱好者了解生成式人工智能模型的当前能力。
主要预期用户
音频、机器学习和人工智能领域的研究人员,以及希望更好理解这些模型的爱好者。
非预期用例
- 在未进行进一步风险评估和缓解的情况下,不得用于下游应用。
- 不得用于故意创建或传播会给人造成敌对或疏离环境的音乐作品,包括生成可能会让人感到不安、痛苦或冒犯的音乐,或传播历史或当前刻板印象的内容。
评估指标
模型性能指标
- 使用以下客观指标在标准音乐基准上评估模型:
- 基于预训练音频分类器(VGGish)提取的特征计算的 Fréchet 音频距离。
- 基于预训练音频分类器(PaSST)提取的标签分布的 Kullback - Leibler 散度。
- 基于预训练 CLAP 模型提取的音频嵌入和文本嵌入之间的 CLAP 分数。
- 此外,还进行了有人类参与者的定性研究,从以下方面评估模型性能:
- 音乐样本的整体质量。
- 与提供的文本输入的文本相关性。
决策阈值
不适用。
评估数据集
模型在 MusicCaps 基准 和一个无艺术家与训练集重叠的领域内保留评估集上进行了评估。
训练数据集
模型在以下许可数据源上进行训练:Meta Music Initiative Sound Collection、Shutterstock 音乐库 和 Pond5 音乐库。更多关于训练集和相应预处理的详细信息请参考论文。
评估结果
以下是发布的模型在 MusicCaps 上获得的客观指标。注意,对于公开发布的模型,使用了最先进的音乐源分离方法,即开源的 Hybrid Transformer for Music Source Separation (HT - Demucs),以仅保留器乐曲目。这解释了与论文中使用的模型在客观指标上的差异。
模型 |
Fréchet 音频距离 |
KLD |
文本一致性 |
facebook/magnet - small - 10secs |
4.22 |
1.11 |
0.28 |
facebook/magnet - medium - 10secs |
4.61 |
1.14 |
0.28 |
facebook/magnet - small - 30secs |
4.35 |
1.17 |
0.28 |
facebook/magnet - medium - 30secs |
4.63 |
1.20 |
0.28 |
更多信息可在论文 Masked Audio Generation using a Single Non-Autoregressive Transformer 的结果部分找到。
局限性和偏差
数据
模型训练使用的数据源由音乐专业人士创建,并与版权持有者签订了法律协议。模型在 16K 小时的数据上进行训练,认为在更大的数据集上扩展模型可以进一步提高性能。
缓解措施
使用相应标签和最先进的音乐源分离方法(即开源的 Hybrid Transformer for Music Source Separation (HT - Demucs))从数据源中移除了包含人声的曲目。
局限性
- 模型无法生成逼真的人声。
- 模型使用英语描述进行训练,在其他语言中的表现不佳。
- 模型在所有音乐风格和文化中的表现不均。
- 模型有时会生成歌曲结尾并陷入沉默。
- 有时难以评估哪种类型的文本描述能提供最佳生成效果,可能需要进行提示工程以获得满意的结果。
偏差
数据源可能缺乏多样性,并非所有音乐文化都在数据集中得到平等代表。模型在各种音乐流派中的表现可能不均,生成的样本会反映训练数据中的偏差。对该模型的进一步研究应包括实现文化平衡和公正表示的方法,例如扩展训练数据以使其既多样化又具包容性。
风险和危害
模型的偏差和局限性可能导致生成被认为有偏差、不适当或冒犯性的样本。认为提供重现研究和训练新模型的代码将有助于将应用扩展到新的、更具代表性的数据。
使用场景
用户必须了解模型的偏差、局限性和风险。MAGNeT 是为音乐生成的人工智能研究而开发的模型,因此在未进行进一步调查和风险缓解的情况下,不得用于下游应用。
Audio - MAGNeT - 音效生成模型
训练数据集
audio - magnet 模型在以下数据源上进行训练:AudioSet 的一个子集(Gemmeke 等人,2017)、[BBC 音效](https://sound - effects.bbcrewind.co.uk/)、AudioCaps(Kim 等人,2019)、Clotho v2(Drossos 等人,2020)、VGG - Sound(Chen 等人,2020)、FSD50K(Fonseca 等人,2021)、[Free To Use Sounds](https://www.freetousesounds.com/all - in - one - bundle/)、Sonniss Game Effects、[WeSoundEffects](https://wesoundeffects.com/we - sound - effects - bundle - 2020/)、[Paramount Motion - Odeon Cinematic Sound Effects](https://www.paramountmotion.com/odeon - sound - effects)。
评估数据集
audio - magnet 模型(音效生成)在 AudioCaps 基准 上进行了评估。
评估结果
以下是发布的 audio - magnet 模型在 AudioCaps(由 10 秒长的样本组成)上获得的客观指标。
模型 |
Fréchet 音频距离 |
KLD |
facebook/audio - magnet - small |
3.21 |
1.42 |
facebook/audio - magnet - medium |
2.32 |
1.64 |
模型检查点
发布了六个检查点:
- [small - 10secs](https://huggingface.co/facebook/magnet - small - 10secs)
- [medium - 10secs (本检查点)](https://huggingface.co/facebook/magnet - medium - 10secs)
- [small - 30secs](https://huggingface.co/facebook/magnet - small - 30secs)
- [medium - 30secs](https://huggingface.co/facebook/magnet - medium - 30secs)
- [audio - small](https://huggingface.co/facebook/audio - magnet - small)
- [audio - medium](https://huggingface.co/facebook/audio - magnet - medium)