Wav2vec2 Base 100h

🚀 Wav2Vec2-Base-100h

このモデルはfacebook/wav2vec2-base-100hのフォークです。このモデルは音声関連のタスク、特に自動音声認識に使用され、LibriSpeechデータセットで訓練されています。

🚀 クイックスタート

このセクションでは、モデルの評価に必要な手順とコード例を紹介します。

✨ 主な機能

• このモデルは自動音声認識に特化しており、LibriSpeechデータセットの"clean"と"other"のテストデータで評価可能です。
• 再現可能な評価を行うためのコードが提供されています。

📦 インストール

• モデルを評価するには、以下のパッケージをインストールする必要があります。
  • transformers v4.15.0
  • datasets 1.18.0
  • 手動でpypkg librosa、jiwerをインストールする必要があります。

💻 使用例

基本的な使用法

以下のコードスニペットは、LibriSpeechの"clean"と"other"のテストデータでfacebook/wav2vec2-base-100hを評価する方法を示しています。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import soundfile as sf
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")
# librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-100h")

def map_to_array(batch):
    # speech, _ = sf.read(batch["file"])
    # batch["speech"] = speech
    batch["speech"] = batch['audio']['array']
    return batch

librispeech_eval = librispeech_eval.map(map_to_array)

def map_to_pred(batch):
    input_values = processor(batch["speech"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["speech"])

print("WER:", wer(result["text"], result["transcription"]))

注意事項

• 再現可能な評価を行うために、新しいtransformerとdatasetsのバージョンに対応した評価を行っています。
• 結果を再現するには、バッチサイズを1に設定してください。
• 評価はtransformers v4.15.0、datasets 1.18.0で検証されています。

評価結果

結果 (WER):

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。