Whisper Large V3 Turbo Cantonese Yue English

🚀 語音識別模型項目

本項目基於transformers庫，利用多個數據集訓練語音識別模型，採用特定的訓練參數和硬件配置，在CER指標上取得了一定的效果。

🚀 快速開始

環境要求

確保你的transformers庫版本為 4.46.3 或更高。若在推理過程中遇到分詞器問題，請使用以下命令更新：

pip install --upgrade transformers==4.46.3

✨ 主要特性

• 多數據集訓練：使用多個公開數據集進行訓練，包括AlienKevin/mixed_cantonese_and_english_speech、mozilla-foundation/common_voice_17_0和mozilla-foundation/common_voice_11_0。
• 特定指標評估：採用字符錯誤率（CER）作為評估指標，當前模型的 CER 為 13.7%。
• 基於預訓練模型：以openai/whisper-large-v3-turbo為基礎模型進行訓練。

📦 安裝指南

確保安裝指定版本的transformers庫：

pip install --upgrade transformers==4.46.3

🔧 技術細節

訓練參數

硬件配置

• NVIDIA Tesla V100 16GB * 4

📄 許可證

本項目採用 MIT 許可證。

💡 使用建議

💡 使用建議

若在推理過程中遇到分詞器問題，請更新transformers庫至 4.46.3 或更高版本。