Whisper Finetuned

🚀 Whisper印度口音模型

本模型是基於印度英語口音數據集對 openai/whisper-large-v3-turbo 進行微調後的版本。它在評估集上取得了以下成果：

• 損失值：0.1700
• 詞錯誤率（Wer）：4.3908

🚀 快速開始

本模型是針對印度英語口音進行微調的語音識別模型，可用於自動語音識別任務，將印度英語口音的語音轉換為文本。

✨ 主要特性

• 微調優化：基於 openai/whisper-large-v3-turbo 模型在印度英語口音數據集上進行微調，更適配印度英語口音的語音識別。
• 評估指標良好：在評估集上損失值為 0.1700，詞錯誤率（Wer）為 4.3908，展現出較好的識別性能。

📚 詳細文檔

模型描述

本模型是對 openai/whisper-large-v3-turbo 在印度英語口音數據集上進行微調得到的。

預期用途與限制

目前暫未提供相關詳細信息。

訓練和評估數據

• 數據集：使用了 krishan23/indian_english 數據集。
• 評估指標：使用詞錯誤率（Wer）作為評估指標。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e-05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 優化器（optimizer）：使用 adamw_torch，其中 betas=(0.9, 0.999)，epsilon=1e-08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：500
• 訓練步數（training_steps）：5000
• 混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers：4.48.3
• Pytorch：2.2.0a0 + 81ea7a4
• Datasets：3.3.0
• Tokenizers：0.21.0

📄 許可證

本模型採用 MIT 許可證。

📦 模型信息