Wav2vec2 Large 960h Lv60 Self En Atc Uwb Atcc

🚀 wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc

本模型是 facebook/wav2vec2-large-960h-lv60-self 在 UWB-ATCC 语料库 上的微调版本。它可用于空中交通管制通信的自动语音识别任务，在相关评估集上取得了较好的效果。

模型信息

评估结果

本模型在评估集上取得了以下结果：

• 损失值：0.7287
• 字错率（WER）：0.1756

论文信息

• 标题：How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications
• 作者：Juan Zuluaga - Gomez, Amrutha Prasad, Iuliia Nigmatulina, Saeed Sarfjoo, Petr Motlicek, Matthias Kleinert, Hartmut Helmke, Oliver Ohneiser, Qingran Zhan
• 摘要：近期关于自监督预训练的工作重点在于利用大规模无标签语音数据构建鲁棒的端到端（E2E）声学模型（AM），这些模型随后可在下游任务（如自动语音识别（ASR））上进行微调。然而，很少有工作研究当预训练和微调阶段的数据属性存在显著差异（即领域偏移）时，对性能的影响。我们针对这一情况，分析了 Wav2Vec 2.0 和 XLS - R 模型在完全未见领域（空中交通管制（ATC）通信）的下游 ASR 任务中的鲁棒性。我们在几个开源且具有挑战性的 ATC 数据库上对这两个模型进行了基准测试，这些数据库的信噪比在 5 到 20 dB 之间。通过仅用较小比例的标记数据微调 E2E 声学模型，与基于混合的 ASR 基线相比，相对字错率（WER）降低了 20% 到 40%。我们分析了低资源场景下的 WER 以及一个 ATC 数据集所携带的性别偏差。

代码仓库

GitHub 仓库地址：https://github.com/idiap/w2v2-air-traffic

🚀 快速开始

模型使用

你可以使用我们的 Google Colab 笔记本运行和评估我们的模型：https://github.com/idiap/w2v2-air-traffic/blob/master/src/eval_xlsr_atc_model.ipynb

编写推理脚本

如果你使用语言模型，需要使用以下命令安装 KenLM 绑定：

conda activate your_environment
pip install https://github.com/kpu/kenlm/archive/master.zip

以下是推理代码示例：

from datasets import load_dataset, load_metric, Audio
import torch
from transformers import AutoModelForCTC, Wav2Vec2Processor, Wav2Vec2ProcessorWithLM
import torchaudio.functional as F

USE_LM = False
DATASET_ID = "Jzuluaga/uwb_atcc"
MODEL_ID = "Jzuluaga/wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc"

# 1. 加载数据集
# 我们仅加载 'test' 分区，如果你想加载 'train' 分区，可以相应更改
uwb_atcc_corpus_test = load_dataset(DATASET_ID, "test", split="test")

# 2. 加载模型
model = AutoModelForCTC.from_pretrained(MODEL_ID)

# 3. 加载处理器，我们提供支持语言模型的选项，这可能会产生更好的结果
if USE_LM:
    processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
else:
    processor = Wav2Vec2Processor.from_pretrained(MODEL_ID)
# 4. 格式化测试样本
sample = next(iter(uwb_atcc_corpus_test))
file_sampling_rate = sample['audio']['sampling_rate']
# 必要时进行重采样
if file_sampling_rate != 16000:
    resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), file_sampling_rate, 16000).numpy()
else:
    resampled_audio = torch.tensor(sample["audio"]["array"]).numpy()
input_values = processor(resampled_audio, return_tensors="pt").input_values

# 5. 在模型中进行前向传播
with torch.no_grad():
    logits = model(input_values).logits
    
# 使用处理器获取转录结果
if USE_LM:
    transcription = processor.batch_decode(logits.numpy()).text
else:
    pred_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(pred_ids)
# 打印输出
print(transcription)

✨ 主要特性

• 基于预训练的 wav2vec2 模型进行微调，适用于空中交通管制通信的自动语音识别任务。
• 在多个 ATC 数据集上进行了评估，取得了较好的字错率（WER）结果。
• 提供了使用语言模型的选项，可进一步提高识别性能。

📦 安装指南

如果你使用语言模型，需要安装 KenLM 绑定：

conda activate your_environment
pip install https://github.com/kpu/kenlm/archive/master.zip

💻 使用示例

基础用法

# 上述推理脚本的基础使用
from datasets import load_dataset, load_metric, Audio
import torch
from transformers import AutoModelForCTC, Wav2Vec2Processor, Wav2Vec2ProcessorWithLM
import torchaudio.functional as F

USE_LM = False
DATASET_ID = "Jzuluaga/uwb_atcc"
MODEL_ID = "Jzuluaga/wav2vec2-large-960h-lv60-self-en-atc-uwb-atcc"

# 1. 加载数据集
uwb_atcc_corpus_test = load_dataset(DATASET_ID, "test", split="test")

# 2. 加载模型
model = AutoModelForCTC.from_pretrained(MODEL_ID)

# 3. 加载处理器
if USE_LM:
    processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
else:
    processor = Wav2Vec2Processor.from_pretrained(MODEL_ID)
# 4. 格式化测试样本
sample = next(iter(uwb_atcc_corpus_test))
file_sampling_rate = sample['audio']['sampling_rate']
if file_sampling_rate != 16000:
    resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), file_sampling_rate, 16000).numpy()
else:
    resampled_audio = torch.tensor(sample["audio"]["array"]).numpy()
input_values = processor(resampled_audio, return_tensors="pt").input_values

# 5. 进行前向传播
with torch.no_grad():
    logits = model(input_values).logits
    
# 获取转录结果
if USE_LM:
    transcription = processor.batch_decode(logits.numpy()).text
else:
    pred_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(pred_ids)
# 打印输出
print(transcription)

高级用法

# 可根据实际需求调整 USE_LM 参数，使用语言模型以获得更好的识别效果
USE_LM = True
# 其余代码与基础用法相同

📚 详细文档

预期用途与限制

本模型在空中交通管制数据上进行了微调。我们预计它在其他数据集（如 LibriSpeech 或 CommonVoice）上可能无法保持相同的性能。

训练和评估数据

详情请参阅我们论文中的表 1（第 3 页）：How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications。我们在论文中描述了如何使用我们模型的分区情况。

• 我们使用 UWB - ATCC 语料库对该模型进行微调。你可以在此处下载原始数据：https://lindat.mff.cuni.cz/repository/xmlui/handle/11858/00 - 097C - 0000 - 0001 - CCA1 - 0
• 不过，不用担心，我们已经将数据库准备成 Datasets 格式。可查看 HuggingFace 上的 UWB - ATCC 语料库。你可以滚动查看训练/测试分区，甚至可以收听一些音频。
• 如果你想准备一个 HuggingFace 格式的数据库，可以参考以下数据加载脚本：data_loader_atc.py。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0001
• 训练批次大小：24
• 评估批次大小：12
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：1000
• 训练步数：10000
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.24.0
• Pytorch 1.13.0+cu117
• Datasets 2.6.1
• Tokenizers 0.13.2

📄 许可证

本项目采用 Apache - 2.0 许可证。

🔗 引用

如果你在研究中使用了此代码，请引用我们的论文：

@article{zuluaga2022how,
    title={How Does Pre-trained Wav2Vec2. 0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications},
    author={Zuluaga-Gomez, Juan and Prasad, Amrutha and Nigmatulina, Iuliia and Sarfjoo, Saeed and others},
    journal={IEEE Spoken Language Technology Workshop (SLT), Doha, Qatar},
    year={2022}
  }

以及：

@article{zuluaga2022bertraffic,
  title={BERTraffic: BERT-based Joint Speaker Role and Speaker Change Detection for Air Traffic Control Communications},
  author={Zuluaga-Gomez, Juan and Sarfjoo, Seyyed Saeed and Prasad, Amrutha and others},
  journal={IEEE Spoken Language Technology Workshop (SLT), Doha, Qatar},
  year={2022}
  }

以及：

@article{zuluaga2022atco2,
  title={ATCO2 corpus: A Large-Scale Dataset for Research on Automatic Speech Recognition and Natural Language Understanding of Air Traffic Control Communications},
  author={Zuluaga-Gomez, Juan and Vesel{\`y}, Karel and Sz{\"o}ke, Igor and Motlicek, Petr and others},
  journal={arXiv preprint arXiv:2211.04054},
  year={2022}
}