Wav2vec2 Base 10k Voxpopuli Ft Fi

🚀 Wav2Vec2-Base-VoxPopuli-Finetuned

このモデルは、FacebookのWav2Vec2のベースモデルを、VoxPopuliコーパスの10Kのラベルなしサブセットで事前学習し、fiの転記データで微調整したものです。（詳細は論文の表1を参照）

🚀 クイックスタート

このモデルは、音声認識タスクに使用できます。以下のセクションでは、推論の使い方を説明します。

✨ 主な機能

• オーディオデータの自動音声認識
• VoxPopuliコーパスを用いた事前学習とfi言語での微調整

📄 ライセンス

このモデルは、cc-by-nc-4.0ライセンスの下で提供されています。

📚 ドキュメント

論文情報

• 論文: VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation
• 著者: Changhan Wang, Morgane Riviere, Ann Lee, Anne Wu, Chaitanya Talnikar, Daniel Haziza, Mary Williamson, Juan Pino, Emmanuel Dupoux （Facebook AI）

詳細な情報は、公式ウェブサイトを参照してください。

💻 使用例

基本的な使用法

#!/usr/bin/env python3
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torchaudio
import torch

# resample audio

# load model & processor
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-fi")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-10k-voxpopuli-ft-fi")

# load dataset
ds = load_dataset("common_voice", "fi", split="validation[:1%]")

# common voice does not match target sampling rate
common_voice_sample_rate = 48000
target_sample_rate = 16000

resampler = torchaudio.transforms.Resample(common_voice_sample_rate, target_sample_rate)


# define mapping fn to read in sound file and resample
def map_to_array(batch):
    speech, _ = torchaudio.load(batch["path"])
    speech = resampler(speech)
    batch["speech"] = speech[0]
    return batch


# load all audio files
ds = ds.map(map_to_array)

# run inference on the first 5 data samples
inputs = processor(ds[:5]["speech"], sampling_rate=target_sample_rate, return_tensors="pt", padding=True)

# inference
logits = model(**inputs).logits
predicted_ids = torch.argmax(logits, axis=-1)

print(processor.batch_decode(predicted_ids))

高度な使用法

このコードでは、Common Voiceデータセットのサンプルに対して推論を行っています。データセットの読み込み、音声のリサンプリング、モデルの推論を行っています。

# 上記のコードと同じ内容