Cnn8rnn Audioset Sed

🚀 CRNN音頻事件檢測模型

這是一個用於音頻分類的CRNN聲音事件檢測模型，它在大規模音頻數據集上進行預訓練和微調，能夠準確識別多種聲音事件，為音頻處理和分析提供強大支持。

🚀 快速開始

此模型是一個CRNN聲音事件檢測模型，先在 AudioSet 上進行預訓練，然後在 AudioSet-strong 上進行微調。它包含8個卷積層和一個GRU，時間分辨率為40ms，總共有約640萬個參數。

💻 使用示例

基礎用法

import torch
from transformers import AutoModel
import torchaudio

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = AutoModel.from_pretrained(
    "wsntxxn/cnn8rnn-audioset-sed",
    trust_remote_code=True
).to(device)

wav1, sr1 = torchaudio.load("/path/to/file1.wav")
wav1 = torchaudio.functional.resample(wav1, sr1, model.config.sample_rate)
wav1 = wav1.mean(0) if wav1.size(0) > 1 else wav1[0]

wav2, sr2 = torchaudio.load("/path/to/file2.wav")
wav2 = torchaudio.functional.resample(wav2, sr2, model.config.sample_rate)
wav2 = wav2.mean(0) if wav2.size(0) > 1 else wav2[0]

wav_batch = torch.nn.utils.rnn.pad_sequence([wav1, wav2], batch_first=True)

with torch.no_grad():
    output = model(waveform=wav_batch)
    # output: {
    #     "framewise_output": (2, 447, n_frames),
    #     "clipwise_output": (2, 447)
    # }

# classes is in `model.classes`
# for example, the probability sequence of male speech is:
male_speech_prob = output[:, model.classes.index("Male speech, man speaking"), :]

📄 許可證

本項目採用 Apache-2.0 許可證。