Whisper Medium Ml

🚀 馬拉雅拉姆語Whisper Medium模型

本模型是基於openai/whisper-medium在Common Voice 11.0數據集上微調得到的版本。它能夠將馬拉雅拉姆語語音準確轉錄為文本，在語音識別任務中具有較高的準確率。

🚀 快速開始

本模型是 openai/whisper-medium 在 Common Voice 11.0 數據集上的微調版本。它在評估集上取得了以下成績：

• 字錯率（WER）：38.6207
• 字符錯誤率（CER）：7.3256

需要注意的是，Whisper 的歸一化處理對於馬拉雅拉姆語這類語言存在重大問題，因此上述分數是在未使用歸一化的情況下評估得出的。若使用歸一化（以便與該平臺上的其他模型進行公平比較），結果如下：

• 字錯率（WER）：11.49

可以使用此Colab作為進一步微調模型的起點。

💻 使用示例

基礎用法

給定一個音頻樣本 audio（可以是從numpy數組到文件路徑的任何形式），以下代碼可生成轉錄內容：

from transformers import pipeline, WhisperProcessor

processor = WhisperProcessor.from_pretrained("thennal/whisper-medium-ml")
forced_decoder_ids = processor.get_decoder_prompt_ids(language="ml", task="transcribe")
asr = pipeline(
        "automatic-speech-recognition", model="thennal/whisper-medium-ml", device=0,
    )
transcription = asr(audio, chunk_length_s=30, max_new_tokens=448, return_timestamps=False,  generate_kwargs={
        "forced_decoder_ids": forced_decoder_ids, 
        "do_sample": True,
    })

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：1e-05
• 訓練批次大小：32
• 評估批次大小：16
• 隨機種子：42
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練步數：8000
• 混合精度訓練：原生自動混合精度（Native AMP）

框架版本

• Transformers：4.26.0.dev0
• Pytorch：1.13.0+cu117
• Datasets：2.7.1.dev0
• Tokenizers：0.13.2

📄 許可證

本模型採用Apache-2.0許可證。

📋 模型信息表格