Whisper Large V3 Myanmar

🚀 whisper-large-v3-myanmar

本模型是 openai/whisper-large-v3 在 chuuhtetnaing/myanmar-speech-dataset-openslr-80 数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：0.1752
• 字错率（Wer）：54.8976

🚀 快速开始

本模型是基于 openai/whisper-large-v3 在特定缅甸语语音数据集上微调得到的自动语音识别模型，可用于将缅甸语语音转录为文本。

💻 使用示例

基础用法

from datasets import Audio, load_dataset
from transformers import pipeline

# Load a sample audio
dataset = load_dataset("chuuhtetnaing/myanmar-speech-dataset-openslr-80")
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
test_dataset = dataset['test']
input_speech = test_dataset[42]['audio']

pipe = pipeline(model='chuuhtetnaing/whisper-large-v3-myanmar')

output = pipe(input_speech, generate_kwargs={"language": "myanmar", "task": "transcribe"})
print(output['text']) # ကျမ ပြည်ပ မှာ ပညာသင် တော့ စာမေးပွဲ ကို တပတ်တခါ စစ်တယ်

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0003
• 训练批次大小：20
• 评估批次大小：20
• 随机种子：42
• 梯度累积步数：3
• 总训练批次大小：60
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：200
• 训练轮数：30
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.35.2
• Pytorch 2.1.1+cu121
• Datasets 2.14.5
• Tokenizers 0.15.1

📄 许可证

本模型采用 Apache-2.0 许可证。