Wav2vec2 Large Robust Ft Libri 960h

🚀 Wav2Vec2-Large-Robust をLibrispeechでファインチューニングしたモデル

このモデルは、音声認識に特化した強力なモデルです。事前学習とファインチューニングを経て、高精度な音声認識が可能です。

🚀 クイックスタート

このモデルは、FacebookのWav2Vec2 の派生モデルで、wav2vec2-large-robust モデルをファインチューニングしたものです。

事前学習に使用されたデータセットは以下の通りです：

• Libri-Light：LibriVoxプロジェクトからのオープンソースのオーディオブック。クリーンな読み上げ音声データ。
• CommonVoice：クラウドソーシングで収集された音声データ。読み上げられたテキストの断片。
• Switchboard：電話音声コーパス。ノイズの多い電話音声データ。
• Fisher：会話形式の電話音声。ノイズの多い電話音声データ。

その後、960時間の以下のデータセットでファインチューニングされています：

• Librispeech：オープンソースの読み上げ音声データ。

モデルを使用する際には、音声入力が16Khzでサンプリングされていることを確認してください。

論文 Robust Wav2Vec2

著者: Wei-Ning Hsu, Anuroop Sriram, Alexei Baevski, Tatiana Likhomanenko, Qiantong Xu, Vineel Pratap, Jacob Kahn, Ann Lee, Ronan Collobert, Gabriel Synnaeve, Michael Auli

概要 音声表現の自己教師付き学習は非常に活発な研究分野ですが、ほとんどの研究は、大量のラベル付きおよびラベルなしデータが存在する読み上げオーディオブックなどの単一のドメインに焦点を当てています。この論文では、事前学習用のラベルなしデータのドメインが、ファインチューニング用のラベル付きデータのドメインと異なり、さらにテストデータのドメインと異なる、より一般的な設定を探索します。実験の結果、事前学習中にターゲットドメインのデータを使用すると、さまざまな設定で大きな性能向上が見られることがわかりました。大規模な競争的な設定では、ドメイン内のラベルなしデータで事前学習することで、ドメイン内とドメイン外のラベル付きデータで学習されたモデル間のギャップが66％ - 73％縮小することを示しています。これは、ラベル付きデータよりもラベルなしのターゲットドメインデータを取得する方がはるかに容易であるため、明らかな実用的な意味を持っています。さらに、複数のドメインで事前学習することで、学習中に見られなかったドメインでの汎化性能が向上することがわかりました。コードとモデルは、このURLで公開されます。

元のモデルは、https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20 で見つけることができます。

💻 使用例

基本的な使用法

音声ファイルを文字起こしするために、このモデルをスタンドアロンの音響モデルとして使用することができます。以下に例を示します：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import soundfile as sf
import torch

# モデルとプロセッサをロード
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-robust-ft-libri-960h")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-robust-ft-libri-960h")

# 音声ファイルを読み込む関数を定義
def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch

# ダミーデータセットをロードして音声ファイルを読み込む
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
ds = ds.map(map_to_array)

# トークン化
input_values = processor(ds["speech"][:2], return_tensors="pt", padding="longest").input_values  # バッチサイズ1

# ロジットを取得
logits = model(input_values).logits

# 最大値を取得してデコード
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

📄 ライセンス

このモデルは、Apache License 2.0の下で公開されています。

🔖 その他の情報

⚠️ 重要提示

モデルを使用する際には、音声入力が16Khzでサンプリングされていることを確認してください。

💡 使用建议

音声データの品質が高いほど、文字起こしの精度が向上します。可能な限りクリーンな音声データを使用することをおすすめします。