Wav2vec2 Large Robust 6 Ft Age Gender

🚀 基于Wav2vec 2.0（6层）的年龄和性别识别模型

本模型旨在解决音频信号中年龄和性别识别的问题，通过输入原始音频信号，输出年龄和性别的预测结果，为音频分析领域提供了有效的解决方案。

🚀 快速开始

本模型以原始音频信号作为输入，输出年龄预测值（范围约为 0...1，对应 0...100 岁）以及性别预测（表示为儿童、女性或男性的概率）。此外，它还会提供最后一个变压器层的池化状态。

该模型是在 Wav2Vec2-Large-Robust 的基础上，通过在 aGender、Mozilla Common Voice、Timit 和 Voxceleb 2 数据集上进行微调而创建的。对于此版本的模型，我们仅训练了前六个变压器层。

模型的 ONNX 导出文件可从 doi:10.5281/zenodo.7761387 获取。更多详细信息请参考相关 论文 和 教程。

✨ 主要特性

• 输入输出明确：接受原始音频信号作为输入，输出年龄和性别预测结果以及最后一个变压器层的池化状态。
• 微调训练：基于预训练模型 Wav2Vec2-Large-Robust，在多个数据集上进行微调。
• 部分层训练：仅训练了前六个变压器层。
• ONNX 导出：提供模型的 ONNX 导出文件。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import numpy as np
import torch
import torch.nn as nn
from transformers import Wav2Vec2Processor
from transformers.models.wav2vec2.modeling_wav2vec2 import (
    Wav2Vec2Model,
    Wav2Vec2PreTrainedModel,
)


class ModelHead(nn.Module):
    r"""Classification head."""

    def __init__(self, config, num_labels):

        super().__init__()

        self.dense = nn.Linear(config.hidden_size, config.hidden_size)
        self.dropout = nn.Dropout(config.final_dropout)
        self.out_proj = nn.Linear(config.hidden_size, num_labels)

    def forward(self, features, **kwargs):

        x = features
        x = self.dropout(x)
        x = self.dense(x)
        x = torch.tanh(x)
        x = self.dropout(x)
        x = self.out_proj(x)

        return x


class AgeGenderModel(Wav2Vec2PreTrainedModel):
    r"""Speech emotion classifier."""

    def __init__(self, config):

        super().__init__(config)

        self.config = config
        self.wav2vec2 = Wav2Vec2Model(config)
        self.age = ModelHead(config, 1)
        self.gender = ModelHead(config, 3)
        self.init_weights()

    def forward(
            self,
            input_values,
    ):

        outputs = self.wav2vec2(input_values)
        hidden_states = outputs[0]
        hidden_states = torch.mean(hidden_states, dim=1)
        logits_age = self.age(hidden_states)
        logits_gender = torch.softmax(self.gender(hidden_states), dim=1)

        return hidden_states, logits_age, logits_gender



# load model from hub
device = 'cpu'
model_name = 'audeering/wav2vec2-large-robust-6-ft-age-gender'
processor = Wav2Vec2Processor.from_pretrained(model_name)
model = AgeGenderModel.from_pretrained(model_name)

# dummy signal
sampling_rate = 16000
signal = np.zeros((1, sampling_rate), dtype=np.float32)


def process_func(
    x: np.ndarray,
    sampling_rate: int,
    embeddings: bool = False,
) -> np.ndarray:
    r"""Predict age and gender or extract embeddings from raw audio signal."""

    # run through processor to normalize signal
    # always returns a batch, so we just get the first entry
    # then we put it on the device
    y = processor(x, sampling_rate=sampling_rate)
    y = y['input_values'][0]
    y = y.reshape(1, -1)
    y = torch.from_numpy(y).to(device)

    # run through model
    with torch.no_grad():
        y = model(y)
        if embeddings:
            y = y[0]
        else:
            y = torch.hstack([y[1], y[2]])

    # convert to numpy
    y = y.detach().cpu().numpy()

    return y


print(process_func(signal, sampling_rate))
#    Age       child      female      male
# [[ 0.3079211  0.00848487 0.0051472  0.9863679 ]]

print(process_func(signal, sampling_rate, embeddings=True))
# Pooled hidden states of last transformer layer
# [[ 0.00409924  0.00365688  0.02392936 ...  0.02349018 -0.13294911
#    0.1538802 ]]

高级用法

文档未提及高级用法相关内容，故跳过此部分。

📚 详细文档

数据集

推理

推理功能：可用

标签

🔧 技术细节

本模型基于 Wav2vec 2.0 架构，通过在多个数据集上进行微调，仅训练了前六个变压器层，以实现对音频信号中年龄和性别的有效识别。模型期望输入为原始音频信号，输出包括年龄预测值、性别概率分布以及最后一个变压器层的池化状态。

📄 许可证

本模型使用的许可证为：cc-by-nc-sa-4.0