Whisper Large V3 Myanmar

🚀 whisper-large-v3-myanmar

本模型是 openai/whisper-large-v3 在 chuuhtetnaing/myanmar-speech-dataset-openslr-80 數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：0.1752
• 字錯率（Wer）：54.8976

🚀 快速開始

本模型是基於 openai/whisper-large-v3 在特定緬甸語語音數據集上微調得到的自動語音識別模型，可用於將緬甸語語音轉錄為文本。

💻 使用示例

基礎用法

from datasets import Audio, load_dataset
from transformers import pipeline

# Load a sample audio
dataset = load_dataset("chuuhtetnaing/myanmar-speech-dataset-openslr-80")
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
test_dataset = dataset['test']
input_speech = test_dataset[42]['audio']

pipe = pipeline(model='chuuhtetnaing/whisper-large-v3-myanmar')

output = pipe(input_speech, generate_kwargs={"language": "myanmar", "task": "transcribe"})
print(output['text']) # ကျမ ပြည်ပ မှာ ပညာသင် တော့ စာမေးပွဲ ကို တပတ်တခါ စစ်တယ်

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0003
• 訓練批次大小：20
• 評估批次大小：20
• 隨機種子：42
• 梯度累積步數：3
• 總訓練批次大小：60
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：200
• 訓練輪數：30
• 混合精度訓練：Native AMP

訓練結果

框架版本

• Transformers 4.35.2
• Pytorch 2.1.1+cu121
• Datasets 2.14.5
• Tokenizers 0.15.1

📄 許可證

本模型採用 Apache-2.0 許可證。