Whisper Medium Portuguese

🚀 葡萄牙語中型Whisper模型

本模型是基於openai/whisper-medium在common_voice_11_0數據集上進行微調的版本。它在評估集上取得了以下成果：

• 損失值：0.2628
• 詞錯誤率（Wer）：6.5987

🚀 快速開始

本模型是在常見語音數據集上對基礎模型進行微調得到，可用於葡萄牙語的自動語音識別任務。

✨ 主要特性

• 性能優越：相比OpenAI Whisper文章中使用Common Voice 9.0測試數據集的結果，本模型在葡萄牙語語音轉錄上表現更優。
• 開源免費：可在博客文章中獲取模型的詳細信息，且使用無額外成本。

📚 詳細文檔

博客文章

有關此模型的所有信息可在這篇博客文章中查看：語音轉文本與人工智能 | 使用Whisper（OpenAI）免費將任何音頻轉錄為葡萄牙語！。

新的最優結果

OpenAI Whisper文章中使用Common Voice 9.0測試數據集得到的歸一化詞錯誤率（WER Norm）為8.1。

由於此測試數據集與用於評估我們模型的Common Voice 11.0測試數據集相似（均使用WER和WER Norm評估），這意味著我們的葡萄牙語中型Whisper模型在將葡萄牙語音頻轉錄為文本方面比中型Whisper模型更出色（甚至比大型Whisper模型還好，後者的WER Norm為7.1%）。

🔧 技術細節

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：9e-06
• 訓練批次大小（train_batch_size）：32
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：500
• 訓練步數（training_steps）：6000
• 混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers：4.26.0.dev0
• Pytorch：1.13.0+cu117
• Datasets：2.7.1.dev0
• Tokenizers：0.13.2

📄 許可證

本模型採用Apache-2.0許可證。