xls-r-300m-fr-0開源自動語音識別模型 - 免費實現法語語音精準轉文本

Xls R 300m Fr 0

由AlexN開發

這是一個基於facebook/wav2vec2-xls-r-300m在Common Voice 8.0法語數據集上微調的自動語音識別(ASR)模型，支持法語語音轉文本任務。

下載量 24

發布時間 : 3/2/2022

模型概述

該模型專門用於法語語音識別任務，在Common Voice 8.0法語數據集上表現良好，WER為36.81%。

法語語音識別

專門針對法語優化的語音識別能力

基於大規模預訓練模型

基於facebook/wav2vec2-xls-r-300m模型微調，具備強大的語音特徵提取能力

多數據集驗證

在Common Voice和魯棒語音事件等多個數據集上進行了驗證

法語語音轉文本

自動語音識別

處理不同口音的法語語音

語音轉錄

法語語音轉錄

將法語語音內容轉換為文本

WER 36.81% (Common Voice 8.0測試集)

語音助手

法語語音指令識別

用於法語語音助手系統中的語音指令識別

本模型是基於自動語音識別技術的模型，在法語語音識別任務上進行了優化。它基於facebook/wav2vec2-xls-r-300m模型在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - FR數據集上微調得到，在評估集上取得了較好的效果。

本模型是 facebook/wav2vec2-xls-r-300m 在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - FR數據集上的微調版本。它在評估集上取得了以下結果：

多數據集驗證：在多個數據集上進行了評估，包括Common Voice 8.0 fr、Robust Speech Event - Dev Data和Robust Speech Event - Test Data。
低WER：在不同數據集上的詞錯誤率表現良好。

屬性	詳情
模型類型	自動語音識別
訓練數據	mozilla - foundation/common_voice_8_0

任務	數據集	測試WER
語音識別	Common Voice 8.0 fr	36.81
自動語音識別	Robust Speech Event - Dev Data	35.55
自動語音識別	Robust Speech Event - Test Data	39.94

以下是訓練過程中使用的超參數：

訓練損失	輪數	步數	驗證損失	詞錯誤率（WER）
4.3748	0.07	500	3.8784	1.0
2.8068	0.14	1000	2.8289	0.9826
1.6698	0.22	1500	0.8811	0.7127
1.3488	0.29	2000	0.5166	0.5369
1.2239	0.36	2500	0.4105	0.4741
1.1537	0.43	3000	0.3585	0.4448
1.1184	0.51	3500	0.3336	0.4292
1.0968	0.58	4000	0.3195	0.4180
1.0737	0.65	4500	0.3075	0.4141
1.0677	0.72	5000	0.3015	0.4089
1.0462	0.8	5500	0.2971	0.4077
1.0392	0.87	6000	0.2870	0.3997
1.0178	0.94	6500	0.2805	0.3963
0.992	1.01	7000	0.2748	0.3935
1.0197	1.09	7500	0.2691	0.3884
1.0056	1.16	8000	0.2682	0.3889
0.9826	1.23	8500	0.2647	0.3868
0.9815	1.3	9000	0.2603	0.3832
0.9717	1.37	9500	0.2561	0.3807
0.9605	1.45	10000	0.2523	0.3783
0.96	1.52	10500	0.2494	0.3788
0.9442	1.59	11000	0.2478	0.3760
0.9564	1.66	11500	0.2454	0.3733
0.9436	1.74	12000	0.2439	0.3747
0.938	1.81	12500	0.2411	0.3716
0.9353	1.88	13000	0.2397	0.3698
0.9271	1.95	13500	0.2388	0.3681