Wav2vec2 Xls R 300m Zh HK Lm V2

🚀 Wav2Vec2 XLS - R 300M 粵語 (zh - HK) 語言模型

Wav2Vec2 XLS - R 300M 粵語 (zh - HK) 語言模型是一個自動語音識別模型，它能夠將粵語語音準確地轉換為文本，為粵語語音處理提供了高效的解決方案，在粵語語音識別相關應用場景中具有重要價值。

🚀 快速開始

Wav2Vec2 XLS - R 300M 粵語 (zh - HK) 語言模型是基於 XLS - R 架構的自動語音識別模型。該模型是 [Wav2Vec2 - XLS - R - 300M](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m) 在 Common Voice 數據集的 zh - HK 子集上微調後的版本。隨後，我們在這個模型中添加了一個基於多個 PyCantonese 語料庫訓練的 5 - 元語言模型。

此模型使用 HuggingFace 的 PyTorch 框架進行訓練，是 HuggingFace 組織的 [Robust Speech Challenge Event](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614) 的一部分。所有訓練工作均在由 OVH 贊助的 Tesla V100 上完成。

所有用於訓練的必要腳本可以在 [Files and versions](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - zh - HK - lm - v2/tree/main) 標籤中找到，通過 Tensorboard 記錄的 [Training metrics](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - zh - HK - lm - v2/tensorboard) 也可查看。

關於 N - 元語言模型的訓練，我們遵循了 HuggingFace 提供的 [blog post tutorial](https://huggingface.co/blog/wav2vec2 - with - ngram)。

✨ 主要特性

• 基於先進架構：採用 XLS - R 架構，具有強大的特徵提取和語音識別能力。
• 多語料訓練：使用 Common Voice zh - HK 數據集進行訓練，並結合基於多個 PyCantonese 語料庫訓練的 5 - 元語言模型，提升識別準確性。
• 開源可復現：所有訓練腳本和訓練指標均可在 HuggingFace 上查看，方便研究人員復現和改進。

📚 詳細文檔

模型

評估結果

無語言模型評估

該模型在無語言模型的評估中取得了以下結果：

有語言模型評估

添加語言模型後，模型取得了以下結果：

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• learning_rate：0.0001
• train_batch_size：8
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：4
• total_train_batch_size：32
• optimizer：Adam，betas=(0.9, 0.999)，epsilon = 1e - 08
• lr_scheduler_type：線性
• lr_scheduler_warmup_steps：2000
• num_epochs：100.0
• mixed_precision_training：Native AMP

訓練結果

免責聲明

請考慮預訓練數據集中可能存在的偏差，這些偏差可能會影響該模型的結果。

作者

Wav2Vec2 XLS - R 300M 粵語 (zh - HK) 語言模型由 Wilson Wongso 進行訓練和評估。所有計算和開發工作均在 OVH Cloud 上完成。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0

📄 許可證

本項目採用 Apache - 2.0 許可證。