Wav2vec2 Xls R 300m Korean Lm

🚀 Wav2Vec2 XLS - R 300M 韓語語言模型

Wav2Vec2 XLS - R 300M 韓語語言模型是一個基於XLS - R架構的自動語音識別模型。該模型是Wav2Vec2 - XLS - R - 300M在Zeroth Korean數據集上的微調版本。隨後，在該模型中添加了一個基於Open Subtitles韓語子集訓練的 5 - gram 語言模型。

此模型使用 HuggingFace 的 PyTorch 框架進行訓練，是由 HuggingFace 組織的Robust Speech Challenge Event的一部分。所有訓練均在由 OVH 贊助的 Tesla V100 上完成。

所有用於訓練的必要腳本可以在Files and versions標籤中找到，通過 Tensorboard 記錄的Training metrics也可在此查看。

關於 N - gram 語言模型的訓練，我們遵循了 HuggingFace 提供的博客文章教程。

✨ 主要特性

• 基於 XLS - R 架構，在韓語語音識別任務上進行了微調。
• 結合了 5 - gram 語言模型，提升識別效果。

📚 詳細文檔

模型

評估結果

無語言模型評估結果

添加語言模型後的評估結果

訓練過程

訓練過程未添加語言模型。以下結果直接取自原始自動語音識別模型訓練。

訓練超參數

訓練期間使用了以下超參數：

• learning_rate：7.5e - 05
• train_batch_size：8
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：4
• total_train_batch_size：32
• optimizer：Adam，betas=(0.9, 0.999)，epsilon = 1e - 08
• lr_scheduler_type：線性
• lr_scheduler_warmup_steps：2000
• num_epochs：50.0
• mixed_precision_training：Native AMP

訓練結果

免責聲明

請考慮預訓練數據集可能帶來的偏差，這些偏差可能會延續到該模型的結果中。

作者

Wav2Vec2 XLS - R 300M 韓語語言模型由Wilson Wongso訓練和評估。所有計算和開發均在 OVH Cloud 上完成。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.10.3

📄 許可證

本項目採用 Apache 2.0 許可證。