Frame VAD Multilingual MarbleNet V2.0

🚀 Frame-VAD多語言MarbleNet v2.0

Frame-VAD多語言MarbleNet v2.0是一個用於語音活動檢測（VAD）的卷積神經網絡，是語音識別和說話人分離的第一步。它是一個基於幀的模型，為輸入音頻的每20毫秒幀輸出一個語音概率。該模型僅有91.5K個參數，輕量級且適用於即時應用。

✨ 主要特性

• 輕量級模型，僅91.5K個參數
• 能有效抵抗誤報錯誤
• 為每20毫秒音頻幀輸出語音概率
• 支持多語言：中文、英文、法語、德語、俄語和西班牙語

此模型可用於商業用途。

📄 許可證

適用條款：您使用此模型需遵循 NVIDIA開放模型許可協議。

部署範圍

全球

使用場景

開發者、語音處理工程師和AI研究人員會將其作為其他語音處理模型的第一步。

參考資料

[1] Jia, Fei, Somshubra Majumdar, and Boris Ginsburg. "MarbleNet: Deep 1D Time-Channel Separable Convolutional Neural Network for Voice Activity Detection." ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021. [2] NVIDIA NeMo Toolkit

模型架構

輸入

輸出

我們的AI模型設計和/或優化為在NVIDIA GPU加速系統上運行。通過利用NVIDIA的硬件（如GPU核心）和軟件框架（如CUDA庫），與僅使用CPU的解決方案相比，該模型實現了更快的訓練和推理時間。

💻 使用示例

基礎用法

要訓練、微調或使用該模型，您需要安裝 NVIDIA NeMo。

pip install -U nemo_toolkit['asr']

該模型可在NeMo工具包 [2] 中使用，並可作為預訓練檢查點進行推理。

自動加載模型

import torch
import nemo.collections.asr as nemo_asr
vad_model = nemo_asr.models.EncDecFrameClassificationModel.from_pretrained(model_name="nvidia/frame_vad_multilingual_marblenet_v2.0")

# Move the model to GPU if available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
vad_model = vad_model.to(device)
vad_model.eval()

使用PyTorch進行推理

首先，獲取一個樣本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

然後運行以下代碼：

import librosa

# Load the audio
input_signal = librosa.load("2086-149220-0033.wav", sr=16000, mono=True)[0]
input_signal = torch.tensor(input_signal).unsqueeze(0).float()
input_signal_length = torch.tensor([input_signal.shape[1]]).long()

# Perform inference
with torch.no_grad():
   torch_outputs = vad_model(
        input_signal=input_signal.to(device),
        input_signal_length=input_signal_length.to(device)
    ).cpu()

導出為ONNX

import onnx 
from nemo.core import typecheck
typecheck.set_typecheck_enabled(False)

vad_model = vad_model.cpu()
ONNX_EXPORT_PATH = "frame_vad_multilingual_marblenet_v2.0.onnx"

# Preprocess input signal
processed_signal, processed_signal_length = vad_model.preprocessor(
    input_signal=input_signal,
    length=input_signal_length
)

# Define input example for ONNX export
inputs = {
    "processed_signal": processed_signal,
    "processed_signal_length": processed_signal_length
}

# Export
torch.onnx.export(
    model=vad_model,
    args=inputs,
    f=ONNX_EXPORT_PATH,
    input_names=list(inputs.keys()),
    output_names=["output"],
    dynamic_axes={
        "processed_signal": {0: "batch_size", 2: "sequence_length"},
        "processed_signal_length": {0: "batch_size"},
        "output": {0: "batch_size", 1: "sequence_length"}
    }
)

使用ONNX Runtime進行推理

import onnxruntime

# Load the ONNX model
session = onnxruntime.InferenceSession(
    ONNX_EXPORT_PATH, 
    providers=["CPUExecutionProvider"]
)

# Prepare input for ONNX Runtime
ort_inputs = {
    input.name: inputs[input.name].numpy()
    for input in session.get_inputs()
}

# Run inference
onnx_outputs = session.run(None, ort_inputs)[0]

從幀級語音預測生成RTTM輸出

要使用預訓練模型從音頻生成RTTM（豐富轉錄時間標記）文件，請執行以下命令：

python <NEMO_ROOT>/examples/asr/speech_classification/frame_vad_infer.py \
  --config-path="../conf/vad" \
  --config-name="frame_vad_infer_postprocess.yaml" \
  vad.model_path="nvidia/frame_vad_multilingual_marblenet_v2.0" \
  vad.parameters.shift_length_in_sec=0.02 \
  prepare_manifest.auto_split=True \
  prepare_manifest.split_duration=7200 \
  input_manifest=<評估數據清單文件的路徑，其中音頻文件應具有唯一名稱> \
  out_manifest_filepath=<輸出清單文件的路徑>

軟件集成

訓練、測試和評估數據集

訓練數據集

測試數據集

評估數據集

推理

性能

ROC - AUC性能如下表所示。ROC - AUC值越高，性能越好。

倫理考量

NVIDIA認為可信AI是一項共同責任，我們已經制定了政策和實踐，以支持各種AI應用的開發。當按照我們的服務條款下載或使用該模型時，開發者應與他們的內部模型團隊合作，確保該模型滿足相關行業和用例的要求，並解決意外的產品濫用問題。

有關此模型倫理考量的更多詳細信息，請參閱 模型卡片++可解釋性、偏差、安全與保障以及隱私子卡片。

請 在此 報告安全漏洞或NVIDIA AI相關問題。

偏差

可解釋性

隱私

安全