Whisper Large Zh Cv11

🚀 中文（普通話）大模型Whisper

本模型是在中文（普通話）上對 openai/whisper-large-v2 進行微調後的版本，使用了 Common Voice 11 的訓練集和驗證集。訓練過程中並未使用所有驗證集數據，我從驗證集中提取了 1000 個樣本用於微調期間的評估。

🚀 快速開始

環境準備

確保你已經安裝了 transformers 庫。如果尚未安裝，可以使用以下命令進行安裝：

pip install transformers

代碼示例

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-zh-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

💻 使用示例

基礎用法

上述代碼展示瞭如何使用該模型進行語音轉錄。你只需要將 path/to/my_audio.wav 替換為你實際的音頻文件路徑，即可完成語音轉錄。

📚 詳細文檔

評估

我使用了兩個數據集的測試集對模型進行了評估，分別是 Common Voice 11（與微調時使用的數據集相同）和 Fleurs（微調期間未使用的數據集）。由於 Whisper 可以轉錄大小寫和標點符號，我在兩種不同的場景下進行了模型評估，一種使用原始文本，另一種使用歸一化文本（小寫 + 去除標點符號）。此外，對於 Fleurs 數據集，我還評估了在沒有數值轉錄的場景下模型的表現，因為該數據集中數值的描述方式與微調時使用的數據集（Common Voice）不同，所以預計這種數值描述方式的差異會影響模型在 Fleurs 數據集上此類轉錄的性能。

Common Voice 11

Fleurs

📄 許可證

本項目採用 Apache-2.0 許可證。