Discogs Maest 30s Pw 73e Ts

🚀 discogs-maest-30s-pw-73e-ts模型卡

MAEST是基於Transformer架構的音頻模型，專注於音樂分析應用。它在音樂風格分類任務上預訓練，在多個下游音樂分析任務中表現良好。本模型可用於音樂風格預測、音樂流派識別等多種音樂相關任務。

🚀 快速開始

MAEST模型可以與transformers庫的audio-classification管道一起使用。以下是一個使用示例：

import numpy as np
from transformers import pipeline

# 音頻採樣率為16kHz
audio = np.random.randn(30 * 16000)

pipe = pipeline("audio-classification", model="mtg-upf/discogs-maest-30s-pw-73e-ts")
pipe(audio)

運行上述代碼後，可能會得到如下輸出：

[{'score': 0.6158794164657593, 'label': 'Electronic---Noise'},
 {'score': 0.08825448155403137, 'label': 'Electronic---Experimental'},
 {'score': 0.08772594481706619, 'label': 'Electronic---Abstract'},
 {'score': 0.03644488751888275, 'label': 'Rock---Noise'},
 {'score': 0.03272806480526924, 'label': 'Electronic---Musique Concrète'}]

✨ 主要特性

• 基於Transformer架構：MAEST是基於Transformer的模型，在音樂分析任務中具有強大的特徵提取能力。
• 多任務適用性：在多個下游音樂分析任務中表現良好，如音樂流派識別、音樂情感識別和樂器檢測等。
• 特定音樂風格分類：可以對從Discogs公共元數據中衍生出的400種音樂風格進行預測。

📚 詳細文檔

模型詳情

MAEST是基於PASST的Transformer模型家族，專注於音樂分析應用。該模型也可在Essentia庫中進行推理，並可在官方倉庫中進行推理和訓練。你可以在replicate上嘗試MAEST的交互式演示。

⚠️ 重要提示

此模型根據CC BY - NC - SA 4.0許可證用於非商業應用，如需商業使用，請聯繫獲取專有許可證。聯繫我們獲取更多信息。

⚠️ 重要提示

MAEST模型依賴自定義代碼。在🤗Transformers的audio-classification管道中使用它們時，請設置trust_remote_code = True。

模型描述

• 開發者：Pablo Alonso
• 共享者：Pablo Alonso
• 模型類型：Transformer
• 許可證：cc - by - nc - sa - 4.0
• 微調自：PaSST

模型來源

• 倉庫：MAEST
• 論文：Efficient Supervised Training of Audio Transformers for Music Representation Learning

用途

MAEST是一個在音樂風格分類任務上預訓練的音樂音頻表示模型。根據原論文中的評估，它在幾個下游音樂分析任務中表現良好。

直接使用

MAEST模型可以對從Discogs公共元數據中衍生出的400種音樂風格進行預測。

下游使用

MAEST模型在與音樂流派識別、音樂情感識別和樂器檢測相關的下游應用中表現良好。具體來說，原論文報告稱，從模型中間層提取的表示獲得了最佳性能。

超出適用範圍的使用

該模型未在音樂理解應用之外的場景進行評估，因此我們不清楚它在預期領域之外的性能。由於該模型旨在用於audio-classification管道，需要注意的是，MAEST 不是通用的音頻分類模型（如AST），因此不應期望它在AudioSet等任務中表現良好。

偏差、風險和侷限性

MAEST模型使用Discogs20進行訓練，這是MTG內部的一個數據集，源自Discogs的公共元數據。雖然我們試圖在數據集中涵蓋的400種音樂風格方面最大化多樣性，但我們注意到西方（特別是電子）音樂的代表性過高。

訓練詳情

訓練數據

我們的模型使用Discogs20進行訓練，這是MTG內部的數據集，包含330萬首與Discogs元數據匹配的音樂曲目。

訓練過程

大多數訓練細節在模型的論文和官方實現中有詳細說明。

預處理

MAEST模型依賴最初使用Essentia庫提取的梅爾頻譜圖，並且在之前的幾篇出版物中也有使用。在Transformers中，使用audio_utils在一定程度上覆制了這種梅爾頻譜圖簽名，這對預測有非常小（但不可忽略）的影響。

評估、指標和結果

MAEST模型在音樂風格分類任務上進行了預訓練，並通過下游MLP探針在幾個基準音樂理解任務中評估了其內部表示。詳情請查看原論文。

環境影響

• 硬件類型：4 x Nvidia RTX 2080 Ti
• 使用時長：約32小時
• 碳排放：約3.46千克二氧化碳當量

碳排放使用Lacoste等人（2019）提出的機器學習影響計算器進行估算。

技術規格

模型架構和目標

音頻頻譜圖Transformer (AST)

計算基礎設施

本地基礎設施

硬件

4 x Nvidia RTX 2080 Ti

軟件

Pytorch

引用

BibTeX：

@inproceedings{alonso2023music,
  title={Efficient supervised training of audio transformers for music representation learning},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)},
  year={2022},
  organization={International Society for Music Information Retrieval (ISMIR)}
}

APA：

Alonso-Jiménez, P., Serra, X., & Bogdanov, D. (2023). Efficient Supervised Training of Audio Transformers for Music Representation Learning. In Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)

模型卡作者

Pablo Alonso

模型卡聯繫方式

• Twitter: @pablo__alonso
• Github: @palonso
• 郵箱: pablo dot alonso at upf dot edu

信息表格