Mert Base

🚀 MERT

MERT（基於大規模自監督訓練的聲學音樂理解模型）在掩碼語言建模（MLM）風格的聲學預訓練中引入了教師模型來提供偽標籤。

MERT的預訓練權重來自 m-a-p/MERT-v1-95M。在本倉庫中，我們為 AutoModelForAudioClassification 自動類註冊了MERT。

🚀 快速開始

模型信息

代碼使用說明

依賴庫

運行代碼需要安裝 transformers 和 numpy 庫，你可以使用以下命令進行安裝：

pip install transformers numpy

代碼示例

import numpy as np
from transformers import AutoFeatureExtractor, AutoModelForAudioClassification

# Some configurations
model_id = 'yangwang825/mert-base'
batch_size = 4
num_classes = 10
max_duration = 1.0

# Initialise the extractor and model
feature_extractor = AutoFeatureExtractor.from_pretrained(
    model_id, 
    trust_remote_code=True
)
mert = AutoModelForAudioClassification.from_pretrained(
    model_id,
    num_labels=num_classes,
    ignore_mismatched_sizes=True,
    trust_remote_code=True
)

# Simulate a list of waveforms (e.g. four audio clips)
audio_arrays = [
    np.random.rand(16000, ),
    np.random.rand(24000, ),
    np.random.rand(22050, ),
    np.random.rand(44100, )
]
inputs = feature_extractor(
    audio_arrays, # List of waveforms in numpy array format
    sampling_rate=feature_extractor.sampling_rate, 
    max_length=int(feature_extractor.sampling_rate * max_duration), 
    padding='max_length', 
    truncation=True, 
    return_tensors='pt'
)
# The shape of `input_values` is (batch_size, sample_rate * max_duration)
input_values = inputs['input_values']
outputs = mert(**inputs)
# The shape of `logits` is (batch_size, num_classes)
logits = outputs['logits']

上述代碼展示瞭如何使用MERT模型進行音頻分類。主要步驟包括：

1. 導入必要的庫。
2. 配置模型ID、批次大小、類別數量和最大音頻時長。
3. 初始化特徵提取器和模型。
4. 模擬音頻波形列表。
5. 使用特徵提取器處理音頻數據。
6. 將處理後的數據輸入模型並獲取輸出。