Indian Accent English Whisper Finetuned

🚀 Whisper印度英語口音模型

本模型是基於印度英語口音數據集對openai/whisper-large-v3-turbo進行微調得到的版本。它在評估集上取得了以下成果：

• 損失值：0.2065
• 字錯率（Wer）：7.5056

🚀 快速開始

本模型是預訓練模型，若要使用它進行自動語音識別任務，可藉助Hugging Face的transformers庫。以下是簡單的使用示例：

from transformers import WhisperForConditionalGeneration, WhisperProcessor
import torch
from datasets import load_dataset

# 加載模型和處理器
model = WhisperForConditionalGeneration.from_pretrained("your_model_path")
processor = WhisperProcessor.from_pretrained("your_model_path")

# 加載示例音頻數據
ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
sample = ds[0]["audio"]

# 處理音頻輸入
input_features = processor(sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt").input_features 

# 生成轉錄文本
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

print(transcription)

✨ 主要特性

• 微調優化：基於印度英語口音數據集對openai/whisper-large-v3-turbo進行微調，更適合印度英語口音的語音識別。
• 評估表現良好：在評估集上有較低的損失值和字錯率，具備較好的識別性能。

📦 安裝指南

若要使用本模型，需安裝以下依賴庫：

pip install transformers==4.49.0 datasets==3.3.2 tokenizers==0.21.0 torch==2.2.0a0+81ea7a4

📚 詳細文檔

模型描述

本模型是在openai/whisper-large-v3-turbo基礎上，針對印度英語口音數據集進行微調得到的。不過目前關於模型的更多詳細信息有待補充。

預期用途與限制

目前關於模型的預期用途和限制的更多信息有待補充。

訓練和評估數據

目前關於訓練和評估數據的更多信息有待補充。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e-05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 優化器（optimizer）：使用adamw_torch，其中betas=(0.9,0.999)，epsilon=1e-08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：500
• 訓練輪數（num_epochs）：5
• 混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.49.0
• Pytorch 2.2.0a0+81ea7a4
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 許可證

本模型採用MIT許可證。