Wav2vec2 Base 10k Voxpopuli Ft Nl

🚀 Wav2Vec2-Base-VoxPopuli-Finetuned

該模型基於Facebook的Wav2Vec2基礎模型，在VoxPopuli語料庫的10K無標籤子集上進行預訓練，並在荷蘭語轉錄數據上進行微調，可用於自動語音識別任務。

🚀 快速開始

本模型是 Facebook的Wav2Vec2 基礎模型，在 VoxPopuli語料庫 的10K無標籤子集上進行預訓練，並在荷蘭語轉錄數據上進行微調（更多信息請參考論文中的表1）。

論文：VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation

作者：來自 Facebook AI 的 Changhan Wang、Morgane Riviere、Ann Lee、Anne Wu、Chaitanya Talnikar、Daniel Haziza、Mary Williamson、Juan Pino、Emmanuel Dupoux

更多信息請查看官方網站 here

💻 使用示例

基礎用法

以下展示瞭如何在 Common Voice數據集 的樣本上使用該模型進行推理：

#!/usr/bin/env python3
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torchaudio
import torch

# resample audio

# load model & processor
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-nl")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-nl")

# load dataset
ds = load_dataset("common_voice", "nl", split="validation[:1%]")

# common voice does not match target sampling rate
common_voice_sample_rate = 48000
target_sample_rate = 16000

resampler = torchaudio.transforms.Resample(common_voice_sample_rate, target_sample_rate)


# define mapping fn to read in sound file and resample
def map_to_array(batch):
    speech, _ = torchaudio.load(batch["path"])
    speech = resampler(speech)
    batch["speech"] = speech[0]
    return batch


# load all audio files
ds = ds.map(map_to_array)

# run inference on the first 5 data samples
inputs = processor(ds[:5]["speech"], sampling_rate=target_sample_rate, return_tensors="pt", padding=True)

# inference
logits = model(**inputs).logits
predicted_ids = torch.argmax(logits, axis=-1)

print(processor.batch_decode(predicted_ids))

📄 許可證

本項目採用 cc-by-nc-4.0 許可證。