Voc2vec

🚀 voc2vec

voc2vec是专门为非语言人类数据设计的基础模型。它利用了约125小时的非语言音频数据，为非语言人类数据处理提供了强大的支持。

✨ 主要特性

• 专为非语言人类数据设计，具有针对性和专业性。
• 基于wav2vec 2.0框架构建，沿用其预训练设置。
• 在多个数据集上进行评估，展现出良好的性能。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
import librosa
from transformers import AutoModelForAudioClassification, AutoFeatureExtractor

## Load an audio file
audio_array, sr = librosa.load("path_to_audio.wav", sr=16000)

## Load model and feature extractor
model = AutoModelForAudioClassification.from_pretrained("alkiskoudounas/voc2vec")
feature_extractor = AutoFeatureExtractor.from_pretrained("alkiskoudounas/voc2vec")

## Extract features
inputs = feature_extractor(audio_array.squeeze(), sampling_rate=feature_extractor.sampling_rate, padding=True, return_tensors="pt")

## Compute logits
logits = model(**inputs).logits

📚 详细文档

模型描述

Voc2vec基于wav2vec 2.0框架构建，并沿用其预训练设置。预训练数据集包括：AudioSet（发声）、FreeSound（婴儿）、HumanVoiceDataset、NNIME、NonSpeech7K、ReCANVo、SingingDatabase、TUT（婴儿）、VocalSketch、VocalSound。

任务和数据集描述

我们在六个数据集上评估了voc2vec：ASVP - ESD、ASPV - ESD（婴儿）、CNVVE、NonVerbal Vocalization Dataset、Donate a Cry、VIVAE。

下表报告了上述六个数据集在未加权平均召回率（UAR）和F1宏观指标方面的平均性能。

可用模型

🔧 技术细节

文档未提供具体的技术实现细节，故跳过此章节。

📄 许可证

本项目采用Apache-2.0许可证。

📖 BibTeX引用

@INPROCEEDINGS{koudounas2025icassp,
  author={Koudounas, Alkis and La Quatra, Moreno and Siniscalchi, Sabato Marco and Baralis, Elena},
  booktitle={ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={voc2vec: A Foundation Model for Non-Verbal Vocalization}, 
  year={2025},
  volume={},
  number={},
  pages={1-5},
  keywords={Pediatrics;Accuracy;Foundation models;Benchmark testing;Signal processing;Data models;Acoustics;Speech processing;Nonverbal vocalization;Representation Learning;Self-Supervised Models;Pre-trained Models},
  doi={10.1109/ICASSP49660.2025.10890672}}