Wav2vec2 Large 960h Lv60 Self En Atc Uwb Atcc

🚀 wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc

このモデルは、facebook/wav2vec2-large-960h-lv60-self を UWB-ATCCコーパス でファインチューニングしたバージョンです。音声認識タスクに特化しており、航空交通管制（ATC）通信データに対して高い性能を発揮します。

評価セットでは、以下の結果を達成しています。

• 損失: 0.7287
• 単語誤り率（WER）: 0.1756

論文: How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications

著者: Juan Zuluaga-Gomez, Amrutha Prasad, Iuliia Nigmatulina, Saeed Sarfjoo, Petr Motlicek, Matthias Kleinert, Hartmut Helmke, Oliver Ohneiser, Qingran Zhan

概要: 最近の自己教師付き事前学習の研究では、大規模なラベルなし音声データを活用して、下流タスク（例: 自動音声認識（ASR））で微調整可能な堅牢なエンドツーエンド（E2E）音響モデル（AM）を構築することに焦点を当てています。しかし、事前学習と微調整のフェーズ間でデータの特性が大きく異なる場合（ドメインシフトと呼ばれる）の性能への影響については、ほとんど研究されていません。我々は、完全に未知のドメインである航空交通管制（ATC）通信の下流ASRにおけるWav2Vec 2.0とXLS - Rモデルの堅牢性を分析することで、このシナリオを対象としています。我々は、信号対雑音比が5dBから20dBのいくつかのオープンソースで挑戦的なATCデータベースでこれら2つのモデルをベンチマークします。ハイブリッドベースのASRベースラインと比較して、ラベル付きデータの一部でE2E音響モデルを微調整するだけで、相対的な単語誤り率（WER）が20％から40％削減されます。低リソースシナリオでのWERと、1つのATCデータセットに含まれる性別バイアスを分析します。

コード — GitHubリポジトリ: https://github.com/idiap/w2v2-air-traffic

🚀 クイックスタート

使用方法

Google Colabノートブックを使用して、モデルを実行および評価できます。 評価用ノートブック

想定される用途と制限

このモデルは航空交通管制データでファインチューニングされています。LibriSpeechやCommonVoiceなどの他のデータセットでは、同じ性能を維持することは期待できません。

学習と評価データ

論文 How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications の表1（3ページ）を参照してください。モデルの使用方法のパーティションについて説明しています。

• このモデルをファインチューニングするためにUWB - ATCCコーパスを使用しています。生データはここからダウンロードできます: UWB-ATCC生データ
• 心配しないでください。我々はデータベースを Datasetsフォーマット で用意しています。HuggingFace上のUWB-ATCCコーパス を参照してください。トレイン/テストパーティションを確認し、音声を聴くこともできます。
• HuggingFaceフォーマットのデータベースを作成する場合は、データローダースクリプト を参照してください。

独自の推論スクリプトの作成

言語モデルを使用する場合は、KenLMバインディングをインストールする必要があります。

conda activate your_environment
pip install https://github.com/kpu/kenlm/archive/master.zip

コードのスニペット:

from datasets import load_dataset, load_metric, Audio
import torch
from transformers import AutoModelForCTC, Wav2Vec2Processor, Wav2Vec2ProcessorWithLM
import torchaudio.functional as F

USE_LM = False
DATASET_ID = "Jzuluaga/uwb_atcc"
MODEL_ID = "Jzuluaga/wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc"

# 1. データセットの読み込み
# 'test'パーティションのみ読み込みますが、'train'パーティションを読み込む場合は適宜変更してください
uwb_atcc_corpus_test = load_dataset(DATASET_ID, "test", split="test")

# 2. モデルの読み込み
model = AutoModelForCTC.from_pretrained(MODEL_ID)

# 3. プロセッサの読み込み、LMを使用する場合はより良い結果が得られます
if USE_LM:
    processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
else:
    processor = Wav2Vec2Processor.from_pretrained(MODEL_ID)
# 4. テストサンプルのフォーマット
sample = next(iter(uwb_atcc_corpus_test))
file_sampling_rate = sample['audio']['sampling_rate']
# 必要に応じてリサンプリング
if file_sampling_rate != 16000:
    resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), file_sampling_rate, 16000).numpy()
else:
    resampled_audio = torch.tensor(sample["audio"]["array"]).numpy()
input_values = processor(resampled_audio, return_tensors="pt").input_values

# 5. モデルでの順伝播
with torch.no_grad():
    logits = model(input_values).logits
    
# プロセッサで文字起こしを取得
if USE_LM:
    transcription = processor.batch_decode(logits.numpy()).text
else:
    pred_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(pred_ids)
# 出力を表示
print(transcription)

引用

このコードを研究に使用する場合は、以下の論文を引用してください。

@article{zuluaga2022how,
    title={How Does Pre-trained Wav2Vec2. 0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications},
    author={Zuluaga-Gomez, Juan and Prasad, Amrutha and Nigmatulina, Iuliia and Sarfjoo, Saeed and others},
    journal={IEEE Spoken Language Technology Workshop (SLT), Doha, Qatar},
    year={2022}
  }

および、

@article{zuluaga2022bertraffic,
  title={BERTraffic: BERT-based Joint Speaker Role and Speaker Change Detection for Air Traffic Control Communications},
  author={Zuluaga-Gomez, Juan and Sarfjoo, Seyyed Saeed and Prasad, Amrutha and others},
  journal={IEEE Spoken Language Technology Workshop (SLT), Doha, Qatar},
  year={2022}
  }

および、

@article{zuluaga2022atco2,
  title={ATCO2 corpus: A Large-Scale Dataset for Research on Automatic Speech Recognition and Natural Language Understanding of Air Traffic Control Communications},
  author={Zuluaga-Gomez, Juan and Vesel{\`y}, Karel and Sz{\"o}ke, Igor and Motlicek, Petr and others},
  journal={arXiv preprint arXiv:2211.04054},
  year={2022}
}

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0001
• トレインバッチサイズ: 24
• 評価バッチサイズ: 12
• シード: 42
• オプティマイザ: Adam（ベータ=(0.9, 0.999)、イプシロン=1e - 08）
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 1000
• 学習ステップ: 10000
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.24.0
• Pytorch 1.13.0+cu117
• Datasets 2.6.1
• Tokenizers 0.13.2

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でライセンスされています。