Whisper Base Hungarian V1

🚀 匈牙利語Whisper Base模型

本模型是基於現有工具和技術，針對匈牙利語微調的最優Whisper Base模型。相較於其他針對匈牙利語微調的Base模型，它在所有數據集上都取得了顯著更優的效果！

🚀 快速開始

本模型是 openai/whisper-base 在 sarpba/big_audio_data_hun 數據集上的微調版本。

測試結果如下：

• ("google/fleurs", "hu_hu", "test")（訓練期間）
  • 損失值（Loss）: 0.7999
  • 拼寫錯誤率（Wer Ortho）: 33.8788
  • 詞錯誤率（Wer）: 29.4814
• ("mozilla-foundation/common_voice_17_0", "hu", "test")
  • 詞錯誤率（WER）: 25.58
  • 字符錯誤率（CER）: 6.34
  • 歸一化詞錯誤率（Normalised WER）: 21.18
  • 歸一化字符錯誤率（Normalised CER）: 5.31

✨ 主要特性

• 這是一個在特定數據集上針對匈牙利語微調的Whisper Base模型。
• 相較於其他匈牙利語微調的Base模型，在各數據集上效果有數量級的提升。

📚 詳細文檔

模型描述

這是一個在獨特數據集上針對匈牙利語微調的Whisper Base模型。

預期用途和限制

未經本人許可，該模型不得用於商業用途！可根據Whisper原始許可條款用於個人用途！不允許對該微調模型進行商業使用！

訓練和評估數據

該模型基於約1200小時精心挑選的匈牙利語音頻數據構建。訓練期間，使用google/flerus進行測試以監控進展。下方是mozilla - foundation/common_voice_17_0的測試結果。

兩個數據集均未包含在訓練數據中，模型未受測試數據影響！

訓練過程

使用ray[tune]進行了3天的訓練優化，使用找到的最優訓練參數進行微調大約耗時17小時！

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）: 0.0003
• 訓練批次大小（train_batch_size）: 64
• 評估批次大小（eval_batch_size）: 32
• 隨機種子（seed）: 42
• 梯度累積步數（gradient_accumulation_steps）: 4
• 總訓練批次大小（total_train_batch_size）: 256
• 優化器（optimizer）: Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型（lr_scheduler_type）: 線性
• 學習率調度器熱身比例（lr_scheduler_warmup_ratio）: 0.05
• 訓練步數（training_steps）: 8000
• 混合精度訓練（mixed_precision_training）: 原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.45.2
• Pytorch 2.3.0+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1

模型索引

⚠️ 重要提示

未經本人許可，該模型不得用於商業用途！

💡 使用建議

可根據Whisper原始許可條款將模型用於個人用途。