Wav2vec2 Base 960h

🚀 Wav2Vec2-Base-960h

Wav2Vec2-Base-960hは、960時間のLibrispeechデータセットに基づき、16kHzのサンプリング音声オーディオで事前学習と微調整を行った基礎モデルです。自動音声認識タスクを支援し、音声処理分野に強力なサポートを提供します。

🚀 クイックスタート

このモデルを使用する際には、音声入力が16kHzのサンプリングであることを確認してください。

✨ 主な機能

Wav2Vec2-Base-960hは、自動音声認識タスクにおいて、強力な性能を発揮します。960時間のLibrispeechデータセットを用いて事前学習と微調整が行われており、音声の特徴を効果的に捉えることができます。

📦 インストール

このREADMEにはインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

以下のコードは、このモデルを独立した音響モデルとしてオーディオファイルを文字起こしする方法を示しています。

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch

# モデルとトークナイザーをロード
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h")

# ダミーデータセットをロードし、オーディオファイルを読み込む
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# トークナイズ
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # バッチサイズは 1
# 対数確率を取得
logits = model(input_values).logits

# 最大値を取り、デコード
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高度な使用法

以下のコードは、LibriSpeechの「クリーン」と「その他」のテストデータで facebook/wav2vec2-base-960h モデルを評価する方法を示しています。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")

def map_to_pred(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

📚 ドキュメント

🔍 基本情報

👀 サンプル表示

• Librispeech sample 1
• Librispeech sample 2

📚 関連リンク

• Facebook's Wav2Vec2
• 論文
• 元のモデルのアドレス：https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20

📝 著者情報

著者：Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli

📃 概要

我々は初めて、音声オーディオから強力な表現を学習し、その後転写音声で微調整することで、概念的により単純でありながら、最良の半教師あり手法を上回ることを実証しました。wav2vec 2.0は潜在空間で音声入力をマスクし、潜在表現の量子化に基づく対照的なタスクを解決します。Librispeechのすべてのラベル付きデータを使用した実験では、クリーン/その他のテストセットで1.8/3.3の単語誤り率（WER）が達成されました。ラベル付きデータを1時間に減らすと、wav2vec 2.0は100時間のサブセットで以前の最適手法を上回り、同時に使用するラベル付きデータ量を100分の1に減らします。10分のラベル付きデータのみを使用し、53000時間のラベルなしデータで事前学習を行っても、4.8/8.2のWERが達成されます。これは、限られたラベル付きデータでの音声認識の実行可能性を証明しています。

📊 評価結果

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。