wav2vec2-xls-r-1b-hebrew開源自動語音識別模型

首頁

Wav2vec2 Xls R 1b Hebrew

由imvladikon開發

基於facebook/wav2vec2-xls-r-1b模型在希伯來語數據集上微調的自動語音識別模型

語音識別

Transformers

其他開源協議:Apache-2.0 #希伯來語語音識別 #大模型微調 #多GPU訓練

下載量 66

發布時間 : 3/2/2022

模型概述

該模型是針對希伯來語優化的自動語音識別(ASR)模型，基於Facebook的wav2vec2-xls-r-1b架構微調而成，適用於希伯來語語音轉文本任務。

模型特點

希伯來語優化

專門針對希伯來語語音識別任務進行微調優化

大規模預訓練基礎

基於Facebook的10億參數wav2vec2-xls-r模型微調

高效訓練

採用多GPU分佈式訓練和混合精度訓練技術

模型能力

希伯來語語音識別

魯棒語音事件檢測

語音轉文本

使用案例

語音轉錄

希伯來語會議記錄

將希伯來語會議錄音自動轉錄為文字記錄

詞錯誤率(WER)22.51%

希伯來語語音助手

為希伯來語語音助手提供語音識別能力

教育

希伯來語學習應用

用於希伯來語學習應用中的發音評估功能

🚀 希伯來語版wav2vec2-xls-r-1b模型

該模型是基於 facebook/wav2vec2-xls-r-1b 在未知數據集上進行微調的版本。它在評估集上取得了以下結果：

損失值：0.3533
字錯率（Wer）：0.2251

📚 詳細文檔

模型描述

待補充更多信息。

預期用途與限制

待補充更多信息。

訓練和評估數據

待補充更多信息。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

學習率：0.0003
訓練批次大小：6
評估批次大小：6
隨機種子：42
分佈式類型：多GPU
梯度累積步數：4
總訓練批次大小：24
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
學習率調度器類型：線性
學習率調度器熱身步數：400
訓練輪數：20.0
混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

訓練損失	輪數	步數	驗證損失	字錯率（Wer）
3.3587	0.47	400	1.1883	0.8392
1.8377	0.95	800	0.8831	0.6852
1.7118	1.42	1200	0.8031	0.6566
1.6741	1.89	1600	0.7518	0.6104
1.6163	2.36	2000	0.6888	0.5591
1.5782	2.84	2400	0.6580	0.5165
1.5548	3.31	2800	0.6506	0.5184
1.5249	3.78	3200	0.6198	0.5028
1.5078	4.26	3600	0.5992	0.4932
1.4836	4.73	4000	0.5705	0.4651
1.4505	5.2	4400	0.5489	0.4508
1.4481	5.67	4800	0.5577	0.4562
1.4136	6.15	5200	0.5452	0.4371
1.3861	6.62	5600	0.5101	0.4087
1.3772	7.09	6000	0.4933	0.3951
1.3478	7.56	6400	0.4849	0.3922
1.3394	8.04	6800	0.4805	0.3892
1.3095	8.51	7200	0.4839	0.3834
1.306	8.98	7600	0.4611	0.3587
1.2707	9.46	8000	0.4545	0.3730
1.2626	9.93	8400	0.4516	0.3524
1.2412	10.4	8800	0.4314	0.3310
1.2456	10.87	9200	0.4401	0.3459
1.2081	11.35	9600	0.4399	0.3356
1.1998	11.82	10000	0.4195	0.3215
1.1826	12.29	10400	0.4221	0.3178
1.1573	12.77	10800	0.4098	0.3084
1.1416	13.24	11200	0.4086	0.3119
1.1174	13.71	11600	0.3854	0.2910
1.1048	14.18	12000	0.3859	0.2824
1.0748	14.66	12400	0.3854	0.2757
1.0697	15.13	12800	0.3740	0.2724
1.0477	15.6	13200	0.3693	0.2643
1.0356	16.08	13600	0.3727	0.2561
1.0083	16.55	14000	0.3652	0.2501
1.0	17.02	14400	0.3641	0.2457
0.9779	17.49	14800	0.3568	0.2409
0.9596	17.97	15200	0.3558	0.2376
0.946	18.44	15600	0.3591	0.2311
0.9389	18.91	16000	0.3540	0.2283
0.9173	19.39	16400	0.3552	0.2265
0.9122	19.86	16800	0.3535	0.2250

框架版本

Transformers 4.16.0.dev0
Pytorch 1.10.1+cu102
Datasets 1.17.1.dev0
Tokenizers 0.11.0

📄 許可證

本模型採用Apache 2.0許可證。

屬性	詳情
模型類型	希伯來語版wav2vec2-xls-r-1b
基礎模型	facebook/wav2vec2-xls-r-1b
許可證	Apache 2.0
標籤	自動語音識別、魯棒語音事件、希伯來語、由訓練器生成、HF自動語音識別排行榜