sat-base開源自動語音識別模型 - 免費部署精準識別語音內容

首頁

Sat Base

由patrickvonplaten開發

基於microsoft/unispeech-sat-base在TIMIT_ASR數據集上微調的自動語音識別模型

語音識別

Transformers

#語音識別微調 #TIMIT數據集 #UniSpeech-SAT架構

下載量 22

發布時間 : 3/2/2022

模型概述

該模型是專門針對英語語音識別任務優化的自動語音識別(ASR)模型，在TIMIT_ASR數據集上表現出色

模型特點

高精度語音識別

在TIMIT_ASR數據集上達到0.5374的詞錯誤率(WER)

基於UniSpeech-SAT架構

採用先進的語音自監督學習架構，具有強大的語音特徵提取能力

端到端訓練

直接從語音到文本的端到端訓練方式，簡化了語音識別流程

模型能力

英語語音識別

語音轉文本

連續語音識別

使用案例

語音轉錄

會議記錄自動轉錄

將英語會議錄音自動轉換為文字記錄

準確率約46.26%(WER=0.5374)

語音指令識別

識別英語語音命令和指令

教育研究

語音學研究工具

用於語音學研究和發音分析

🚀 sat-base

sat-base 模型是 microsoft/unispeech-sat-base 在 TIMIT_ASR - NA 數據集上的微調版本。該模型在評估集上取得了以下成績：

損失值（Loss）：0.7014
字錯率（Wer）：0.5374

📚 詳細文檔

訓練和評估數據

更多信息待補充。

模型描述

更多信息待補充。

預期用途和限制

更多信息待補充。

🔧 技術細節

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

學習率（learning_rate）：3e - 05
訓練批次大小（train_batch_size）：32
評估批次大小（eval_batch_size）：1
隨機種子（seed）：42
優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為 1e - 08
學習率調度器類型（lr_scheduler_type）：線性
學習率調度器熱身步數（lr_scheduler_warmup_steps）：1000
訓練輪數（num_epochs）：20.0
混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

訓練結果

訓練損失	輪數	步數	驗證損失	字錯率
6.9958	0.69	100	6.7171	1.0
3.0453	1.38	200	3.0374	1.0
2.9989	2.07	300	2.9807	1.0
2.969	2.76	400	2.9579	1.0
2.903	3.45	500	2.9072	1.0
2.8565	4.14	600	2.8804	1.0
2.8195	4.83	700	2.7916	1.0
2.3134	5.52	800	2.1456	1.0004
1.5475	6.21	900	1.4663	0.9549
1.1295	6.9	1000	1.1140	0.7227
1.0181	7.59	1100	0.9258	0.6497
1.0252	8.28	1200	0.8430	0.6255
0.835	8.97	1300	0.8063	0.6032
0.662	9.66	1400	0.7595	0.5931
0.5558	10.34	1500	0.7322	0.5819
0.7596	11.03	1600	0.7120	0.5708
0.6169	11.72	1700	0.7073	0.5606
0.4565	12.41	1800	0.7124	0.5586
0.4554	13.1	1900	0.6880	0.5501
0.6216	13.79	2000	0.6783	0.5494
0.5393	14.48	2100	0.7067	0.5499
0.4095	15.17	2200	0.7014	0.5438
0.3551	15.86	2300	0.7000	0.5426
0.5112	16.55	2400	0.6866	0.5426
0.5139	17.24	2500	0.7134	0.5446
0.3638	17.93	2600	0.7130	0.5434
0.3327	18.62	2700	0.6980	0.5377
0.4385	19.31	2800	0.7017	0.5390
0.4986	20.0	2900	0.7014	0.5374