wav2vec2-xls-r-hindi開源語音識別模型 - 精準識別印地語語音內容

首頁

Wav2vec2 Xls R Hindi

由shivam開發

這是一個基於facebook/wav2vec2-xls-r-300m在印地語Common Voice 7.0數據集上微調的自動語音識別(ASR)模型

語音識別

Transformers

其他開源協議:Apache-2.0 #印地語語音識別 #多方言支持 #低資源優化

下載量 19

發布時間 : 3/2/2022

模型概述

該模型專門用於印地語語音識別任務，在Common Voice 7.0印地語測試集上取得了52.3%的詞錯誤率(WER)和26.09%的字錯誤率(CER)

模型特點

印地語語音識別

專門針對印地語優化的語音識別模型

基於XLS-R架構

使用facebook的wav2vec2-xls-r-300m作為基礎模型

Common Voice數據集訓練

在Mozilla Common Voice 7.0印地語數據集上微調

模型能力

印地語語音轉文本

自動語音識別

使用案例

語音轉錄

印地語語音轉錄

將印地語語音內容轉換為文本

在測試集上達到52.3%詞錯誤率

語音助手

印地語語音指令識別

用於理解印地語語音指令

🚀 希瓦姆/瓦2向量2 - XLS - R - 印地語模型

該模型基於Transformer架構，是在MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI數據集上微調的語音識別模型，可用於自動語音識別任務。

🚀 快速開始

此模型是 [facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m) 在MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI數據集上的微調版本。它在評估集上取得了以下結果：

損失：1.2282
詞錯誤率（Wer）：0.6838

📚 詳細文檔

通用語音7“測試”集評估結果（運行 ./eval.py）

帶語言模型（LM）

詞錯誤率（WER）：52.30
字符錯誤率（CER）：26.09

模型描述

更多信息待補充。

預期用途和限制

更多信息待補充。

訓練和評估數據

更多信息待補充。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

學習率：7.5e - 05
訓練批次大小：8
評估批次大小：8
隨機種子：42
梯度累積步數：4
總訓練批次大小：32
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
學習率調度器類型：線性
學習率調度器熱身步數：2000
訓練輪數：50.0
混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

訓練損失	輪數	步數	驗證損失	詞錯誤率（Wer）
5.3155	3.4	500	4.5582	1.0
3.3369	6.8	1000	3.4269	1.0
2.1785	10.2	1500	1.7191	0.8831
1.579	13.6	2000	1.3604	0.7647
1.3773	17.01	2500	1.2737	0.7519
1.3165	20.41	3000	1.2457	0.7401
1.2274	23.81	3500	1.3617	0.7301
1.1787	27.21	4000	1.2068	0.7010
1.1467	30.61	4500	1.2416	0.6946
1.0801	34.01	5000	1.2312	0.6990
1.0709	37.41	5500	1.2984	0.7138
1.0307	40.81	6000	1.2049	0.6871
1.0003	44.22	6500	1.1956	0.6841
1.004	47.62	7000	1.2101	0.6793

框架版本

Transformers 4.16.0.dev0
Pytorch 1.10.1+cu113
Datasets 1.18.1.dev0
Tokenizers 0.11.0

📄 許可證

本模型使用Apache 2.0許可證。

📋 模型信息表格

屬性	詳情
模型類型	自動語音識別模型
訓練數據	MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI數據集
評估指標	詞錯誤率（WER）、字符錯誤率（CER）