Mert Base

🚀 MERT

MERT（基于大规模自监督训练的声学音乐理解模型）在掩码语言建模（MLM）风格的声学预训练中引入了教师模型来提供伪标签。

MERT的预训练权重来自 m-a-p/MERT-v1-95M。在本仓库中，我们为 AutoModelForAudioClassification 自动类注册了MERT。

🚀 快速开始

模型信息

代码使用说明

依赖库

运行代码需要安装 transformers 和 numpy 库，你可以使用以下命令进行安装：

pip install transformers numpy

代码示例

import numpy as np
from transformers import AutoFeatureExtractor, AutoModelForAudioClassification

# Some configurations
model_id = 'yangwang825/mert-base'
batch_size = 4
num_classes = 10
max_duration = 1.0

# Initialise the extractor and model
feature_extractor = AutoFeatureExtractor.from_pretrained(
    model_id, 
    trust_remote_code=True
)
mert = AutoModelForAudioClassification.from_pretrained(
    model_id,
    num_labels=num_classes,
    ignore_mismatched_sizes=True,
    trust_remote_code=True
)

# Simulate a list of waveforms (e.g. four audio clips)
audio_arrays = [
    np.random.rand(16000, ),
    np.random.rand(24000, ),
    np.random.rand(22050, ),
    np.random.rand(44100, )
]
inputs = feature_extractor(
    audio_arrays, # List of waveforms in numpy array format
    sampling_rate=feature_extractor.sampling_rate, 
    max_length=int(feature_extractor.sampling_rate * max_duration), 
    padding='max_length', 
    truncation=True, 
    return_tensors='pt'
)
# The shape of `input_values` is (batch_size, sample_rate * max_duration)
input_values = inputs['input_values']
outputs = mert(**inputs)
# The shape of `logits` is (batch_size, num_classes)
logits = outputs['logits']

上述代码展示了如何使用MERT模型进行音频分类。主要步骤包括：

1. 导入必要的库。
2. 配置模型ID、批次大小、类别数量和最大音频时长。
3. 初始化特征提取器和模型。
4. 模拟音频波形列表。
5. 使用特征提取器处理音频数据。
6. 将处理后的数据输入模型并获取输出。