wav2vec2-xls-r-300m-ur-cv9-with-lm開源模型 - 精準烏爾都語語音自動識別

首頁

Wav2vec2 Xls R 300m Ur Cv9 With Lm

由anuragshas開發

該模型是基於facebook/wav2vec2-xls-r-300m在烏爾都語語音數據集上微調的自動語音識別(ASR)模型

語音識別

Transformers

其他開源協議:Apache-2.0 #烏爾都語語音識別 #低詞錯誤率 #多語言支持

下載量 18

發布時間 : 5/4/2022

模型概述

這是一個針對烏爾都語優化的語音識別模型，在Common Voice 9.0烏爾都語數據集上訓練，能夠將烏爾都語語音轉換為文本

模型特點

烏爾都語優化

專門針對烏爾都語語音識別任務進行微調

高性能

在Common Voice測試集上達到23.75%的詞錯誤率(WER)和8.31%的字錯誤率(CER)

基於XLS-R架構

採用Facebook強大的XLS-R(跨語言語音表示)架構

模型能力

烏爾都語語音識別

語音轉文本

自動轉錄

使用案例

語音轉錄

烏爾都語語音轉錄

將烏爾都語語音內容轉換為文本

準確率達到76.25%(WER 23.75%)

語音助手

烏爾都語語音指令識別

用於烏爾都語語音助手和命令控制系統

🚀 XLS - R - 300M - 烏爾都語語音識別模型

本模型是基於Transformer架構的自動語音識別模型，在烏爾都語數據集上進行微調，可有效提升烏爾都語語音識別的準確性。

🚀 快速開始

本模型是 facebook/wav2vec2 - xls - r - 300m 在 MOZILLA - FOUNDATION/COMMON_VOICE_9_0 - UR 數據集上的微調版本。它在評估集上取得了以下結果：

損失值：0.4147
詞錯誤率（Wer）：0.3172
字符錯誤率（Cer）：0.1050

✨ 主要特性

微調優化：基於預訓練模型在烏爾都語數據集上微調，提升烏爾都語語音識別效果。
多指標評估：使用損失值、詞錯誤率、字符錯誤率等多指標評估模型性能。

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

學習率：7.5e - 05
訓練批次大小：64
評估批次大小：64
隨機種子：42
梯度累積步數：2
總訓練批次大小：128
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
學習率調度器類型：線性
學習率調度器熱身比例：0.1
訓練步數：5108
混合精度訓練：Native AMP

訓練結果

訓練損失	輪數	步數	驗證損失	詞錯誤率（Wer）	字符錯誤率（Cer）
3.2894	7.83	400	3.1501	1.0	1.0
1.8586	15.68	800	0.8871	0.6721	0.2402
1.3431	23.52	1200	0.5813	0.5502	0.1939
1.2052	31.37	1600	0.4956	0.4788	0.1665
1.1097	39.21	2000	0.4447	0.4143	0.1397
1.0528	47.06	2400	0.4439	0.3961	0.1333
0.9939	54.89	2800	0.4348	0.4014	0.1379
0.9441	62.74	3200	0.4236	0.3653	0.1223
0.913	70.58	3600	0.4309	0.3475	0.1157
0.8678	78.43	4000	0.4270	0.3337	0.1110
0.8414	86.27	4400	0.4158	0.3220	0.1070
0.817	94.12	4800	0.4185	0.3231	0.1072

框架版本

Transformers 4.19.0.dev0
Pytorch 1.11.0 + cu102
Datasets 2.1.1.dev0
Tokenizers 0.12.1

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 詳細文檔

模型信息

屬性	詳情
模型類型	自動語音識別模型
訓練數據	MOZILLA - FOUNDATION/COMMON_VOICE_9_0 - UR 數據集
評估指標	詞錯誤率（Wer）、字符錯誤率（Cer）、損失值