wavLM-VLSP-vi開源越南語自動語音識別模型 - 免費實現精準語音轉文字

Wavlm VLSP Vi

由phongdtd開發

基於microsoft/wavlm-base-plus在PHONGDTD/VINDATAVLSP - NA數據集上微調的越南語自動語音識別模型

下載量 21

發布時間 : 3/2/2022

模型概述

該模型是針對越南語的自動語音識別(ASR)任務進行優化的模型，基於WavLM架構微調而成

越南語優化

專門針對越南語語音識別任務進行微調

基於WavLM架構

使用微軟WavLM-base-plus作為基礎模型，具有強大的語音表示能力

多GPU訓練

採用分佈式多GPU訓練方式，提高訓練效率

越南語語音轉文本

連續語音識別

語音轉錄

越南語會議記錄

將越南語會議錄音轉換為文字記錄

語音助手

為越南語語音助手提供語音識別能力

本模型是 microsoft/wavlm-base-plus 在 PHONGDTD/VINDATAVLSP - NA 數據集上的微調版本。它在評估集上取得了以下結果：

該模型基於預訓練模型 microsoft/wavlm-base-plus 在特定數據集上微調而來，可用於自動語音識別相關任務。

此模型是在 microsoft/wavlm-base-plus 基礎上，針對 PHONGDTD/VINDATAVLSP - NA 數據集進行微調得到的。

文檔暫未提供該模型的預期用途與限制相關信息。

文檔暫未提供訓練和評估數據的相關信息。

訓練過程中使用了以下超參數：

屬性	詳情
學習率（learning_rate）	0.0003
訓練批次大小（train_batch_size）	4
評估批次大小（eval_batch_size）	8
隨機種子（seed）	42
分佈式類型（distributed_type）	多GPU（multi - GPU）
設備數量（num_devices）	2
總訓練批次大小（total_train_batch_size）	8
總評估批次大小（total_eval_batch_size）	16
優化器（optimizer）	Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
學習率調度器類型（lr_scheduler_type）	線性（linear）
學習率調度器預熱步數（lr_scheduler_warmup_steps）	500
訓練輪數（num_epochs）	50.0
混合精度訓練（mixed_precision_training）	原生自動混合精度（Native AMP）

訓練損失（Training Loss）	輪數（Epoch）	步數（Step）	驗證損失（Validation Loss）	詞錯誤率（Wer）	字符錯誤率（Cer）
3.4482	9.41	40000	3.4480	0.9999	0.9974
3.4619	18.81	80000	3.4514	0.9999	0.9974
3.7961	28.22	120000	3.8732	0.9999	0.9974
24.3843	37.62	160000	22.5457	0.9999	0.9973
48.5691	47.03	200000	45.8892	0.9999	0.9973