Whisper Large Pt Cv11

🚀 葡萄牙語大模型Whisper

該模型是基於 openai/whisper-large-v2，使用 通用語音11 的訓練集和驗證集在葡萄牙語上進行微調的版本。在訓練過程中，並非使用了所有驗證集數據，而是從驗證集中抽取了1000個樣本用於微調期間的評估。

🚀 快速開始

模型信息

許可證

本項目採用 Apache-2.0 許可證。

標籤

• whisper-event
• generated_from_trainer

✨ 主要特性

• 基於 Whisper 大模型進行微調，在葡萄牙語語音識別任務上表現出色。
• 支持對原始文本和歸一化文本進行評估。
• 可處理不同數據集，包括訓練時使用的數據集和未見過的數據集。

💻 使用示例

基礎用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-pt-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="pt", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

📚 詳細文檔

評估

使用兩個數據集的測試集對模型進行了評估，分別是 通用語音11（與微調時使用的數據集相同）和 Fleurs（微調時未見過的數據集）。由於 Whisper 可以轉錄大小寫和標點符號，因此在兩種不同的場景下對模型進行了評估，一種使用原始文本，另一種使用歸一化文本（小寫 + 去除標點符號）。此外，對於 Fleurs 數據集，還在沒有數值轉錄的場景下對模型進行了評估，因為該數據集中數值的描述方式與微調時使用的數據集（通用語音）不同，所以預計這種數值描述方式的差異會影響模型在 Fleurs 中此類轉錄的性能。

通用語音11

Fleurs

📄 許可證

本項目採用 Apache-2.0 許可證。