wav2vec2-xls-r-300m-bp1-es_eu開源模型 - 高效實現巴斯克語自動語音識別

Wav2vec2 Xls R 300m Bp1 Es Eu

由gttsehu開發

基於facebook/wav2vec2-xls-r-300m微調的巴斯克語自動語音識別模型，在巴斯克議會數據集上取得3.67%的詞錯誤率

下載量 49

發布時間 : 1/5/2024

模型概述

這是一個針對巴斯克議會場景優化的自動語音識別模型，基於XLS-R架構，特別適用於巴斯克語的政治演講和會議記錄場景。

低詞錯誤率

在巴斯克議會數據集上僅3.67%的詞錯誤率，表現優異

多GPU優化

採用4GPU分佈式訓練，支持高效的大規模數據處理

領域適配

專門針對政治演講場景優化，適應議會會議的特殊詞彙和表達方式

巴斯克語語音轉文本

會議記錄自動生成

政治演講識別

政府會議記錄

議會會議自動記錄

自動轉錄巴斯克議會會議內容，生成文字記錄

準確率達96.33%（WER 3.67%）

語音檔案數字化

歷史會議錄音轉錄

將存儲的巴斯克議會歷史錄音轉換為可搜索文本

本項目部分由西班牙科學與創新部（OPENSPEECH項目，PID2019 - 106424RB - I00）資助。

該模型是 facebook/wav2vec2-xls-r-300m 在GTTSEHU/BASQUE_PARLIAMENT_1 - NA數據集上的微調版本。它在評估集上取得了以下結果：

待補充更多信息。

待補充更多信息。

待補充更多信息。

訓練期間使用了以下超參數：

訓練損失	輪數	步數	驗證損失	字錯率（Wer）	字符錯誤率（Cer）
0.7054	0.19	4000	0.1011	0.0871	0.0227
0.0856	0.39	8000	0.0995	0.0747	0.0207
0.075	0.58	12000	0.0868	0.0647	0.0185
0.0694	0.77	16000	0.0853	0.0619	0.0183
0.0658	0.97	20000	0.0778	0.0573	0.0171
0.0589	1.16	24000	0.0821	0.0546	0.0166
0.0572	1.35	28000	0.0827	0.0558	0.0170
0.0551	1.55	32000	0.0830	0.0533	0.0169
0.054	1.74	36000	0.0788	0.0512	0.0162
0.0524	1.93	40000	0.0783	0.0489	0.0156
0.048	2.13	44000	0.0861	0.0492	0.0160
0.046	2.32	48000	0.0763	0.0494	0.0154
0.0456	2.51	52000	0.0835	0.0471	0.0153
0.0439	2.71	56000	0.0790	0.0469	0.0152
0.0436	2.9	60000	0.0832	0.0472	0.0155
0.0406	3.09	64000	0.0810	0.0442	0.0148
0.0386	3.29	68000	0.0810	0.0436	0.0146
0.038	3.48	72000	0.0778	0.0430	0.0143
0.0373	3.67	76000	0.0785	0.0430	0.0144
0.0363	3.87	80000	0.0788	0.0421	0.0144
0.0348	4.06	84000	0.0823	0.0423	0.0144
0.0323	4.25	88000	0.0819	0.0407	0.0143
0.0319	4.45	92000	0.0809	0.0410	0.0142
0.0314	4.64	96000	0.0821	0.0400	0.0138
0.0306	4.83	100000	0.0813	0.0389	0.0137
0.0295	5.03	104000	0.0820	0.0377	0.0131
0.0275	5.22	108000	0.0866	0.0378	0.0137
0.0267	5.41	112000	0.0831	0.0376	0.0134
0.0264	5.61	116000	0.0845	0.0369	0.0132
0.0258	5.8	120000	0.0859	0.0370	0.0133
0.0254	6.0	124000	0.0846	0.0367	0.0132