Frame VAD Multilingual MarbleNet V2.0

🚀 Frame-VAD多语言MarbleNet v2.0

Frame-VAD多语言MarbleNet v2.0是一个用于语音活动检测（VAD）的卷积神经网络，是语音识别和说话人分离的第一步。它是一个基于帧的模型，为输入音频的每20毫秒帧输出一个语音概率。该模型仅有91.5K个参数，轻量级且适用于实时应用。

✨ 主要特性

• 轻量级模型，仅91.5K个参数
• 能有效抵抗误报错误
• 为每20毫秒音频帧输出语音概率
• 支持多语言：中文、英文、法语、德语、俄语和西班牙语

此模型可用于商业用途。

📄 许可证

适用条款：您使用此模型需遵循 NVIDIA开放模型许可协议。

部署范围

全球

使用场景

开发者、语音处理工程师和AI研究人员会将其作为其他语音处理模型的第一步。

参考资料

[1] Jia, Fei, Somshubra Majumdar, and Boris Ginsburg. "MarbleNet: Deep 1D Time-Channel Separable Convolutional Neural Network for Voice Activity Detection." ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021. [2] NVIDIA NeMo Toolkit

模型架构

输入

输出

我们的AI模型设计和/或优化为在NVIDIA GPU加速系统上运行。通过利用NVIDIA的硬件（如GPU核心）和软件框架（如CUDA库），与仅使用CPU的解决方案相比，该模型实现了更快的训练和推理时间。

💻 使用示例

基础用法

要训练、微调或使用该模型，您需要安装 NVIDIA NeMo。

pip install -U nemo_toolkit['asr']

该模型可在NeMo工具包 [2] 中使用，并可作为预训练检查点进行推理。

自动加载模型

import torch
import nemo.collections.asr as nemo_asr
vad_model = nemo_asr.models.EncDecFrameClassificationModel.from_pretrained(model_name="nvidia/frame_vad_multilingual_marblenet_v2.0")

# Move the model to GPU if available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
vad_model = vad_model.to(device)
vad_model.eval()

使用PyTorch进行推理

首先，获取一个样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

然后运行以下代码：

import librosa

# Load the audio
input_signal = librosa.load("2086-149220-0033.wav", sr=16000, mono=True)[0]
input_signal = torch.tensor(input_signal).unsqueeze(0).float()
input_signal_length = torch.tensor([input_signal.shape[1]]).long()

# Perform inference
with torch.no_grad():
   torch_outputs = vad_model(
        input_signal=input_signal.to(device),
        input_signal_length=input_signal_length.to(device)
    ).cpu()

导出为ONNX

import onnx 
from nemo.core import typecheck
typecheck.set_typecheck_enabled(False)

vad_model = vad_model.cpu()
ONNX_EXPORT_PATH = "frame_vad_multilingual_marblenet_v2.0.onnx"

# Preprocess input signal
processed_signal, processed_signal_length = vad_model.preprocessor(
    input_signal=input_signal,
    length=input_signal_length
)

# Define input example for ONNX export
inputs = {
    "processed_signal": processed_signal,
    "processed_signal_length": processed_signal_length
}

# Export
torch.onnx.export(
    model=vad_model,
    args=inputs,
    f=ONNX_EXPORT_PATH,
    input_names=list(inputs.keys()),
    output_names=["output"],
    dynamic_axes={
        "processed_signal": {0: "batch_size", 2: "sequence_length"},
        "processed_signal_length": {0: "batch_size"},
        "output": {0: "batch_size", 1: "sequence_length"}
    }
)

使用ONNX Runtime进行推理

import onnxruntime

# Load the ONNX model
session = onnxruntime.InferenceSession(
    ONNX_EXPORT_PATH, 
    providers=["CPUExecutionProvider"]
)

# Prepare input for ONNX Runtime
ort_inputs = {
    input.name: inputs[input.name].numpy()
    for input in session.get_inputs()
}

# Run inference
onnx_outputs = session.run(None, ort_inputs)[0]

从帧级语音预测生成RTTM输出

要使用预训练模型从音频生成RTTM（丰富转录时间标记）文件，请执行以下命令：

python <NEMO_ROOT>/examples/asr/speech_classification/frame_vad_infer.py \
  --config-path="../conf/vad" \
  --config-name="frame_vad_infer_postprocess.yaml" \
  vad.model_path="nvidia/frame_vad_multilingual_marblenet_v2.0" \
  vad.parameters.shift_length_in_sec=0.02 \
  prepare_manifest.auto_split=True \
  prepare_manifest.split_duration=7200 \
  input_manifest=<评估数据清单文件的路径，其中音频文件应具有唯一名称> \
  out_manifest_filepath=<输出清单文件的路径>

软件集成

训练、测试和评估数据集

训练数据集

测试数据集

评估数据集

推理

性能

ROC - AUC性能如下表所示。ROC - AUC值越高，性能越好。

伦理考量

NVIDIA认为可信AI是一项共同责任，我们已经制定了政策和实践，以支持各种AI应用的开发。当按照我们的服务条款下载或使用该模型时，开发者应与他们的内部模型团队合作，确保该模型满足相关行业和用例的要求，并解决意外的产品滥用问题。

有关此模型伦理考量的更多详细信息，请参阅 模型卡片++可解释性、偏差、安全与保障以及隐私子卡片。

请 在此 报告安全漏洞或NVIDIA AI相关问题。

偏差

可解释性

隐私

安全