Mert Base

🚀 MERT

MERT（大規模自己教師付き学習による音楽理解モデル）は、マスク言語モデリング（MLM）方式の音響事前学習において、教師モデルを組み込んで疑似ラベルを提供します。

MERTの事前学習済みの重みは、m-a-p/MERT-v1-95M から取得されました。このリポジトリでは、MERTを AutoModelForAudioClassification 自動クラスに登録しています。

🚀 クイックスタート

MERTは、音声分類タスクに使用できる事前学習済みモデルです。以下に、使用方法の例を示します。

💻 使用例

基本的な使用法

import numpy as np
from transformers import AutoFeatureExtractor, AutoModelForAudioClassification

# Some configurations
model_id = 'yangwang825/mert-base'
batch_size = 4
num_classes = 10
max_duration = 1.0

# Initialise the extractor and model
feature_extractor = AutoFeatureExtractor.from_pretrained(
    model_id, 
    trust_remote_code=True
)
mert = AutoModelForAudioClassification.from_pretrained(
    model_id,
    num_labels=num_classes,
    ignore_mismatched_sizes=True,
    trust_remote_code=True
)

# Simulate a list of waveforms (e.g. four audio clips)
audio_arrays = [
    np.random.rand(16000, ),
    np.random.rand(24000, ),
    np.random.rand(22050, ),
    np.random.rand(44100, )
]
inputs = feature_extractor(
    audio_arrays, # List of waveforms in numpy array format
    sampling_rate=feature_extractor.sampling_rate, 
    max_length=int(feature_extractor.sampling_rate * max_duration), 
    padding='max_length', 
    truncation=True, 
    return_tensors='pt'
)
# The shape of `input_values` is (batch_size, sample_rate * max_duration)
input_values = inputs['input_values']
outputs = mert(**inputs)
# The shape of `logits` is (batch_size, num_classes)
logits = outputs['logits']