Discogs Maest 30s Pw 129e

🚀 discogs-maest-30s-pw-129e模型卡片

MAEST是基于Transformer架构的模型家族，专注于音乐分析应用。它在音乐风格分类等任务上预训练，在多个下游音乐分析任务中表现出色。本模型可用于音乐风格预测，同时在音乐流派识别、情感识别和乐器检测等方面也有良好性能。

🚀 快速开始

MAEST模型可以与transformers库的audio_classification管道一起使用。以下是一个使用示例：

import numpy as np
from transformers import pipeline

# 音频采样率为16kHz
audio = np.random.randn(30 * 16000)

pipe = pipeline("audio-classification", model="mtg-upf/discogs-maest-30s-pw-129e")
pipe(audio)

[{'score': 0.6158794164657593, 'label': 'Electronic---Noise'},
 {'score': 0.08825448155403137, 'label': 'Electronic---Experimental'},
 {'score': 0.08772594481706619, 'label': 'Electronic---Abstract'},
 {'score': 0.03644488751888275, 'label': 'Rock---Noise'},
 {'score': 0.03272806480526924, 'label': 'Electronic---Musique Concrète'}]

✨ 主要特性

模型详情

MAEST是基于PASST的Transformer模型家族，专注于音乐分析应用。该模型也可在Essentia库中进行推理，并可在官方仓库中进行推理和训练。你可以在replicate上尝试MAEST的交互式演示。

⚠️ 重要提示

此模型根据CC BY - NC - SA 4.0许可用于非商业应用，如需商业使用，请联系获取专有许可证。联系我们获取更多信息。

⚠️ 重要提示

MAEST模型依赖自定义代码。在🤗Transformers的audio-classification管道中使用时，请设置trust_remote_code = True。

模型描述

• 开发者：Pablo Alonso
• 共享者：Pablo Alonso
• 模型类型：Transformer
• 许可证：cc - by - nc - sa - 4.0
• 微调基础模型：PaSST

模型来源

• 仓库：MAEST
• 论文：Efficient Supervised Training of Audio Transformers for Music Representation Learning

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

基础用法

import numpy as np
from transformers import pipeline

# 音频采样率为16kHz
audio = np.random.randn(30 * 16000)

pipe = pipeline("audio-classification", model="mtg-upf/discogs-maest-30s-pw-129e")
pipe(audio)

高级用法

文档未提及高级用法代码示例，故跳过该部分。

📚 详细文档

用途

MAEST是一个在音乐风格分类任务上预训练的音乐音频表示模型。根据原论文中的评估，它在几个下游音乐分析任务中表现良好。

直接使用

MAEST模型可以对从Discogs公共元数据中衍生出的400种音乐风格分类法进行预测。

下游使用

MAEST模型在与音乐流派识别、音乐情感识别和乐器检测相关的下游应用中表现良好。具体来说，原论文报告称，从模型中间层提取的表示能获得最佳性能。

超出适用范围的使用

该模型未在音乐理解应用之外的场景进行评估，因此我们不清楚它在预期领域之外的性能。由于该模型旨在用于audio-classification管道，需要注意的是，MAEST 不是 通用的音频分类模型（如AST），因此不应期望它在AudioSet等任务中表现良好。

偏差、风险和局限性

MAEST模型使用Discogs20进行训练，这是MTG内部的一个数据集，源自Discogs的公共元数据。虽然我们试图在数据集中涵盖的400种音乐风格方面最大化多样性，但我们注意到西方（特别是电子）音乐的占比过高。

评估、指标和结果

MAEST模型在音乐风格分类任务上进行了预训练，并通过下游MLP探针在几个基准音乐理解任务中评估了其内部表示。详情请查看原论文。

环境影响

• 硬件类型：4 x Nvidia RTX 2080 Ti
• 使用时长：约32小时
• 碳排放：约3.46 kg CO2 eq.

碳排放使用Machine Learning Impact calculator估算，该计算器在Lacoste et al. (2019)中提出。

技术规格

模型架构和目标

Audio Spectrogram Transformer (AST)

计算基础设施

• 本地基础设施
  • 硬件：4 x Nvidia RTX 2080 Ti
  • 软件：Pytorch

引用

BibTeX：

@inproceedings{alonso2023music,
  title={Efficient supervised training of audio transformers for music representation learning},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)},
  year={2022},
  organization={International Society for Music Information Retrieval (ISMIR)}
}

APA：

Alonso-Jiménez, P., Serra, X., & Bogdanov, D. (2023). Efficient Supervised Training of Audio Transformers for Music Representation Learning. In Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)

模型卡片作者

Pablo Alonso

模型卡片联系方式

• Twitter：@pablo__alonso
• Github：@palonso
• 邮箱：pablo dot alonso at upf dot edu

📄 许可证

此模型根据CC BY - NC - SA 4.0许可用于非商业应用，如需商业使用，请联系获取专有许可证。联系我们获取更多信息。