🚀 Whisper Telugu - 微調版
本模型是 openai/whisper-large-v2 在泰盧固語音頻數據集上的微調版本。它在評估集上取得了以下成果:
- 損失值:3.5889
- 詞錯誤率(Wer):92.3967
📚 詳細文檔
模型信息
屬性 |
詳情 |
庫名稱 |
transformers |
語言 |
泰盧固語(te) |
許可證 |
apache-2.0 |
基礎模型 |
openai/whisper-large-v2 |
標籤 |
generated_from_trainer |
數據集 |
sagarchapara/telugu-audio |
評估指標 |
wer |
模型索引
- 名稱:Whisper Telugu - Fine-tuned
- 結果:
- 任務:
- 數據集:
- 名稱:泰盧固語音頻數據集
- 類型:sagarchapara/telugu-audio
- 配置:te_in
- 分割:無
- 參數:'split: train'
- 評估指標:
- 名稱:Wer
- 類型:wer
- 值:92.39665881345041
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率(learning_rate):0.0002
- 訓練批次大小(train_batch_size):4
- 評估批次大小(eval_batch_size):16
- 隨機種子(seed):42
- 梯度累積步數(gradient_accumulation_steps):4
- 總訓練批次大小(total_train_batch_size):16
- 優化器(optimizer):使用 OptimizerNames.ADAMW_TORCH,其中 betas=(0.9,0.999),epsilon=1e-08,無額外優化器參數
- 學習率調度器類型(lr_scheduler_type):線性
- 學習率調度器熱身步數(lr_scheduler_warmup_steps):500
- 訓練步數(training_steps):10000
- 混合精度訓練(mixed_precision_training):原生自動混合精度(Native AMP)
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
詞錯誤率(Wer) |
0.384 |
0.1797 |
250 |
0.9966 |
96.1662 |
0.434 |
0.3595 |
500 |
1.4886 |
98.5007 |
0.4014 |
0.5392 |
750 |
1.4760 |
97.7940 |
0.3318 |
0.7189 |
1000 |
1.5314 |
97.7511 |
0.3014 |
0.8986 |
1250 |
1.5504 |
97.8368 |
0.2213 |
1.0784 |
1500 |
1.6095 |
97.3656 |
0.2212 |
1.2581 |
1750 |
1.6825 |
96.1662 |
0.2323 |
1.4378 |
2000 |
1.5175 |
97.6012 |
0.2049 |
1.6175 |
2250 |
2.0035 |
97.7940 |
0.1834 |
1.7973 |
2500 |
1.6968 |
96.4232 |
0.2012 |
1.9770 |
2750 |
1.7613 |
97.3013 |
0.1426 |
2.1567 |
3000 |
1.5106 |
95.9734 |
0.1344 |
2.3364 |
3250 |
1.7199 |
95.5665 |
0.1512 |
2.5162 |
3500 |
1.9328 |
94.8169 |
0.1346 |
2.6959 |
3750 |
1.7806 |
96.0805 |
0.1211 |
2.8756 |
4000 |
2.0429 |
95.6736 |
0.0824 |
3.0554 |
4250 |
2.0699 |
95.3309 |
0.0936 |
3.2351 |
4500 |
2.0379 |
96.1876 |
0.0946 |
3.4148 |
4750 |
2.1346 |
95.9092 |
0.0904 |
3.5945 |
5000 |
2.1195 |
95.0311 |
0.0937 |
3.7743 |
5250 |
1.7738 |
95.1810 |
0.0836 |
3.9540 |
5500 |
2.0081 |
95.1167 |
0.0525 |
4.1337 |
5750 |
2.3687 |
94.9240 |
0.0562 |
4.3134 |
6000 |
2.2252 |
95.1381 |
0.0506 |
4.4932 |
6250 |
2.5513 |
95.5022 |
0.0592 |
4.6729 |
6500 |
2.5357 |
95.6736 |
0.0521 |
4.8526 |
6750 |
2.4758 |
95.8235 |
0.0276 |
5.0324 |
7000 |
2.8255 |
94.9454 |
0.0278 |
5.2121 |
7250 |
2.6255 |
94.7740 |
0.0311 |
5.3918 |
7500 |
3.0046 |
94.4956 |
0.0269 |
5.5715 |
7750 |
2.8301 |
94.7312 |
0.0242 |
5.7513 |
8000 |
2.8859 |
94.2386 |
0.0255 |
5.9310 |
8250 |
2.5873 |
93.4676 |
0.0157 |
6.1107 |
8500 |
3.4027 |
93.6175 |
0.0092 |
6.2904 |
8750 |
3.5842 |
93.6389 |
0.0118 |
6.4702 |
9000 |
3.2694 |
93.9602 |
0.0086 |
6.6499 |
9250 |
3.3464 |
93.5318 |
0.01 |
6.8296 |
9500 |
3.4414 |
93.4461 |
0.0065 |
7.0093 |
9750 |
3.3491 |
92.6108 |
0.002 |
7.1891 |
10000 |
3.5889 |
92.3967 |
框架版本
- Transformers 4.49.0
- Pytorch 2.6.0+cu124
- Datasets 3.3.2
- Tokenizers 0.21.0
📄 許可證
本模型使用的許可證為 apache-2.0。