Whisper Large Et

🚀 愛沙尼亞語語音識別模型 Whisper-large-et

本項目是基於愛沙尼亞語數據微調的語音識別模型，能夠對廣播對話、訪談等通用語音場景進行識別，為愛沙尼亞語的自動語音識別提供了有效的解決方案。

🚀 快速開始

推薦使用 faster-whisper 來使用本模型。

示例步驟：

1. 將HF模型轉換為CT2格式：

ct2-transformers-converter --model TalTechNLP/whisper-large-et --output_dir whisper-large-et.ct2  --copy_files tokenizer.json --quantization float16

2. 解碼：

whisper-ctranslate2 --model_directory whisper-large-et.ct2 --task transcribe --language et --beam_size 5 some_file.mp3

✨ 主要特性

• 本模型是基於 openai/whisper-large-v2 在約1200小時的多樣化愛沙尼亞語數據上微調得到的通用愛沙尼亞語自動語音識別（ASR）模型。
• 由塔爾圖工業大學語言技術實驗室訓練。
• 適用於廣播對話、訪談、演講等通用語音識別場景。

📚 詳細文檔

模型描述

這是一個在塔爾圖工業大學語言技術實驗室訓練的通用愛沙尼亞語ASR模型。

預期用途和侷限性

預期用途

本模型旨在用於通用語音識別，例如廣播對話、訪談、演講等。

侷限性和偏差

由於該模型主要在廣播語音和網絡文本上進行訓練，可能在正確解碼以下語音時存在問題：

• 包含技術和其他特定領域術語的語音。
• 兒童語音。
• 非母語語音。
• 在非常嘈雜的環境中錄製的語音，或者麥克風離說話者較遠的語音。
• 非常自然且有重疊的語音。

訓練數據

聲學訓練數據如下：

訓練過程

使用Espnet進行微調，然後使用 此腳本 將其轉換為transformers格式。微調過程與 此模型 類似。微調進行了3個epoch，並在訓練結束時進行了模型平均。

更新：2023年10月3日版本的模型在長片段上進行訓練（與原始Whisper模型類似），因此特別適合與 faster-whisper 一起使用，以“端到端”方式轉錄長語音記錄（即無需任何預先分割）。

評估結果

詞錯誤率（WER）

以下WER結果是使用貪心解碼（即束搜索大小為1）獲得的。

📄 許可證

本模型採用CC BY 4.0許可證。