Wav2vec2 Large 960h Lv60 Self

🚀 Wav2Vec2-Large-960h-Lv60 + Self-Training

この大規模モデルは、16kHzのサンプリングレートで960時間のLibri-LightとLibrispeechの音声データで事前学習および微調整されています。モデルはSelf-Training objectiveで学習されています。このモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

🚀 クイックスタート

このモデルは、Facebook's Wav2Vec2に基づいており、音声認識タスクに使用できます。

✨ 主な機能

• 大規模な音声データで事前学習および微調整されたモデル。
• Self-Training objectiveを用いた学習方法。
• 16kHzのサンプリングレートの音声入力に最適化。

📦 インストール

このモデルを使用するには、transformersとdatasetsライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers datasets

💻 使用例

基本的な使用法

音声ファイルを文字起こしするには、以下のようにモデルを独立した音響モデルとして使用できます。

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch

# load model and processor
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-960h-lv60-self")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-960h-lv60-self")

# load dummy dataset and read soundfiles
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# tokenize
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values

# retrieve logits
logits = model(input_values).logits

# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高度な使用法

以下のコードスニペットは、facebook/wav2vec2-large-960h-lv60-self をLibriSpeechの "clean" および "other" のテストデータで評価する方法を示しています。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-960h-lv60-self").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-960h-lv60-self")

def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], return_tensors="pt", padding="longest")
    input_values = inputs.input_values.to("cuda")
    attention_mask = inputs.attention_mask.to("cuda")

    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

Result (WER):

📚 ドキュメント

• 論文
• 著者: Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli

概要

本研究では、音声オーディオのみから強力な表現を学習し、その後に文字起こしされた音声で微調整することで、概念的により単純でありながら、最良の半教師あり学習方法を上回る可能性を初めて示しまし。wav2vec 2.0は、潜在空間で音声入力をマスクし、共同で学習される潜在表現の量子化に対して定義された対照的なタスクを解きます。Librispeechのすべてのラベル付きデータを使用した実験では、クリーン/その他のテストセットで1.8/3.3のWERが達成されます。ラベル付きデータの量を1時間に減らすと、wav2vec 2.0は100時間のサブセットで以前の最先端技術を上回り、ラベル付きデータの使用量は100分の1になります。たった10分のラベル付きデータと53,000時間のラベルなしデータでの事前学習でも、4.8/8.2のWERが達成されます。これは、限られた量のラベル付きデータでの音声認識の実現可能性を示しています。

元のモデルは、https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20 で見つけることができます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。