Voc2vec As Pt

🚀 voc2vec-as-pt

voc2vecは、非言語的な人間のデータに特化した基礎モデルです。10のデータセット（約125時間の非言語音声をカバー）を使用して、Wav2Vec2に似たモデルを事前学習しました。

🚀 クイックスタート

voc2vecは、非言語的な人間のデータに特化した基礎モデルです。このモデルは、10のデータセット（約125時間の非言語音声をカバー）を用いて事前学習されています。

✨ 主な機能

• 非言語的な人間のデータに特化したモデルです。
• 10のデータセットを用いて事前学習されています。

📚 ドキュメント

モデルの説明

Voc2vecは、wav2vec 2.0フレームワークをベースに構築され、その事前学習設定に従っています。事前学習データセットには、AudioSet (vocalization)、FreeSound (babies)、HumanVoiceDataset、NNIME、NonSpeech7K、ReCANVo、SingingDatabase、TUT (babies)、VocalSketch、VocalSoundが含まれます。このモデルは、Audiosetデータセットで最初に学習されたモデルからの事前学習を続けています。

タスクとデータセットの説明

voc2vec-as-ptを6つのデータセット（ASVP-ESD、ASPV-ESD (babies)、CNVVE、NonVerbal Vocalization Dataset、Donate a Cry、VIVAE）で評価しました。

以下の表は、上記6つのデータセットにおけるUnweighted Average Recall (UAR) とF1 Macroの平均性能を示しています。

利用可能なモデル

💻 使用例

基本的な使用法

import torch
import librosa
from transformers import AutoModelForAudioClassification, AutoFeatureExtractor

## 音声ファイルを読み込む
audio_array, sr = librosa.load("path_to_audio.wav", sr=16000)

## モデルと特徴抽出器を読み込む
model = AutoModelForAudioClassification.from_pretrained("alkiskoudounas/voc2vec-as-pt")
feature_extractor = AutoFeatureExtractor.from_pretrained("alkiskoudounas/voc2vec-as-pt")

## 特徴を抽出する
inputs = feature_extractor(audio_array.squeeze(), sampling_rate=feature_extractor.sampling_rate, padding=True, return_tensors="pt")

## ロジットを計算する
logits = model(**inputs).logits

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

BibTeXエントリと引用情報

@INPROCEEDINGS{koudounas2025icassp,
  author={Koudounas, Alkis and La Quatra, Moreno and Siniscalchi, Sabato Marco and Baralis, Elena},
  booktitle={ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={voc2vec: A Foundation Model for Non-Verbal Vocalization}, 
  year={2025},
  volume={},
  number={},
  pages={1-5},
  keywords={Pediatrics;Accuracy;Foundation models;Benchmark testing;Signal processing;Data models;Acoustics;Speech processing;Nonverbal vocalization;Representation Learning;Self-Supervised Models;Pre-trained Models},
  doi={10.1109/ICASSP49660.2025.10890672}}