SER Odyssey Baseline WavLM Multi Attributes

🚀 音頻分類模型

該模型是為2024年奧德賽情感識別競賽基線而設計，在 MSP-Podcast 數據集上進行訓練。此特定模型是基於多屬性的模型，可預測喚醒度、支配度和效價，預測範圍約為0到1。

🚀 快速開始

本模型可用於音頻情感識別相關任務，通過輸入音頻，能夠預測其喚醒度、支配度和效價。

✨ 主要特性

• 基於 MSP-Podcast 數據集訓練，適用於奧德賽2024情感識別競賽基線。
• 多屬性模型，可同時預測喚醒度、支配度和效價，範圍約為0到1。

📚 詳細文檔

基準測試

基於奧德賽競賽的Test3和開發集的CCC（一致性相關係數）：

更多詳細信息可參考：演示、論文 和 GitHub。

BibTeX引用

@InProceedings{Goncalves_2024,
            author={L. Goncalves and A. N. Salman and A. {Reddy Naini} and L. Moro-Velazquez and T. Thebaud and L. {Paola Garcia} and N. Dehak and B. Sisman and C. Busso},
            title={Odyssey2024 - Speech Emotion Recognition Challenge: Dataset, Baseline Framework, and Results},
            booktitle={Odyssey 2024: The Speaker and Language Recognition Workshop)},
            volume={To appear},
            year={2024},
            month={June},
            address =  {Quebec, Canada},
}

💻 使用示例

基礎用法

from transformers import AutoModelForAudioClassification
import librosa, torch

#load model
model = AutoModelForAudioClassification.from_pretrained("3loi/SER-Odyssey-Baseline-WavLM-Multi-Attributes", trust_remote_code=True)

#get mean/std
mean = model.config.mean
std = model.config.std


#load an audio file
audio_path = "/path/to/audio.wav"
raw_wav, _ = librosa.load(audio_path, sr=model.config.sampling_rate)

#normalize the audio by mean/std
norm_wav = (raw_wav - mean) / (std+0.000001)

#generate the mask
mask = torch.ones(1, len(norm_wav))

#batch it (add dim)
wavs = torch.tensor(norm_wav).unsqueeze(0)


#predict
with torch.no_grad():
    pred = model(wavs, mask)

print(model.config.id2label) 
print(pred)
#{0: 'arousal', 1: 'dominance', 2: 'valence'}
#tensor([[0.3670, 0.4553, 0.4240]])

📄 許可證

本模型使用MIT許可證。