Wav2vec2 Xls R 300m Korean

🚀 Wav2Vec2 XLS - R 300M 韓語模型

Wav2Vec2 XLS - R 300M 韓語模型是一個基於自動語音識別技術的模型。它基於 XLS - R 架構，在 Zeroth Korean 數據集上對 Wav2Vec2 - XLS - R - 300M 模型進行了微調，能夠有效處理韓語語音識別任務。

🚀 快速開始

該模型基於 HuggingFace 的 PyTorch 框架進行訓練，並且是 HuggingFace 組織的 Robust Speech Challenge Event 的一部分。所有訓練都在由 OVH 贊助的 Tesla V100 上完成。訓練所需的所有腳本可以在 Files and versions 標籤中找到，同時通過 Tensorboard 記錄的 Training metrics 也可查看。

✨ 主要特性

• 基於先進的 XLS - R 架構，在韓語語音識別任務上有良好表現。
• 經過在 Zeroth Korean 數據集上的微調，更適配韓語語音場景。
• 參與了 Robust Speech Challenge Event，具備一定的魯棒性。

📚 詳細文檔

模型信息

評估結果

該模型在評估中取得了以下結果：

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• learning_rate：7.5e - 05
• train_batch_size：8
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：4
• total_train_batch_size：32
• optimizer：Adam，betas=(0.9, 0.999)，epsilon = 1e - 08
• lr_scheduler_type：線性
• lr_scheduler_warmup_steps：2000
• num_epochs：50.0
• mixed_precision_training：Native AMP

訓練結果

免責聲明

請考慮預訓練數據集可能帶來的偏差，這些偏差可能會影響該模型的結果。

作者

Wav2Vec2 XLS - R 300M 韓語模型由 Wilson Wongso 進行訓練和評估。所有計算和開發工作均在 OVH Cloud 上完成。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2 + cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.10.3

📄 許可證

本項目採用 Apache - 2.0 許可證。