Wav2vec2 Large Robust Ft Swbd 300h

🚀 Wav2Vec2-Large-Robust を Switchboard でファインチューニングしたモデル

このモデルは、音声認識に特化したモデルで、FacebookのWav2Vec2をベースに、Switchboardデータセットでファインチューニングされています。

🚀 クイックスタート

このモデルは、FacebookのWav2Vec2 をベースに構築された、wav2vec2-large-robust モデルのファインチューニング版です。事前学習には以下のデータセットが使用されています。

• Libri-Light: LibriVoxプロジェクトからのオープンソースのオーディオブック。クリーンな読み上げ音声データ
• CommonVoice: クラウドソーシングで収集された音声データ。読み上げられたテキストの断片
• Switchboard: 電話音声コーパス。ノイズの多い電話音声データ
• Fisher: 会話型の電話音声。ノイズの多い電話音声データ

その後、300時間の Switchboard データでファインチューニングされています。

モデルを使用する際には、音声入力が16Khzでサンプリングされていることを確認してください。

論文 Robust Wav2Vec2

著者: Wei-Ning Hsu, Anuroop Sriram, Alexei Baevski, Tatiana Likhomanenko, Qiantong Xu, Vineel Pratap, Jacob Kahn, Ann Lee, Ronan Collobert, Gabriel Synnaeve, Michael Auli

概要 音声表現の自己教師付き学習は非常に活発な研究分野ですが、ほとんどの研究は、大量のラベル付きおよびラベル無しデータが存在する読み上げオーディオブックなどの単一のドメインに焦点を当てています。この論文では、事前学習用のラベル無しデータのドメインが、ファインチューニング用のラベル付きデータのドメインと異なり、それがさらにテストデータのドメインと異なる、より一般的な設定を探索します。実験の結果、事前学習時にターゲットドメインのデータを使用すると、さまざまな設定で大きな性能向上が見られることがわかりました。大規模な競争的な設定では、ドメイン内のラベル無しデータで事前学習することで、ドメイン内とドメイン外のラベル付きデータで学習されたモデル間のギャップが66％ - 73％縮小されることを示しています。これは、ラベル付きデータよりもラベル無しのターゲットドメインデータを取得する方がはるかに容易であるため、明らかな実用的な意味を持ちます。さらに、複数のドメインで事前学習すると、学習時に見られなかったドメインでの汎化性能が向上することがわかりました。コードとモデルは、このURLで公開されます。

元のモデルは、https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20 で見つけることができます。

💻 使用例

基本的な使用法

音声ファイルを文字起こしするために、このモデルを独立した音響モデルとして使用することができます。

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch

# load model and processor
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-robust-ft-swbd-300h")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-robust-ft-swbd-300h")

# load dummy dataset and read soundfiles
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# tokenize
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # Batch size 1

# retrieve logits
logits = model(input_values).logits

# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で公開されています。