Whisper Large Sme

🚀 Whisper Large Northern Sámi

该模型是 openai/whisper-large-v2 在 audiofolder 数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：0.5559
• 字错率（Wer）：24.9143

🚀 快速开始

本模型是基于 openai/whisper-large-v2 在 audiofolder 数据集上微调得到的。若要使用该模型进行自动语音识别任务，可参考以下步骤（此处仅为示例，具体使用需根据实际情况调整）：

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq

processor = AutoProcessor.from_pretrained("your_model_path")
model = AutoModelForSpeechSeq2Seq.from_pretrained("your_model_path")

# 假设 audio 是你的音频数据
input_features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features 
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription)

✨ 主要特性

• 基于强大的 openai/whisper-large-v2 模型进行微调，在 audiofolder 数据集上有良好表现。
• 可用于自动语音识别任务，在评估集上有明确的损失值和字错率指标。

📚 详细文档

模型信息

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）: 1e-05
• 训练批次大小（train_batch_size）: 12
• 评估批次大小（eval_batch_size）: 6
• 随机种子（seed）: 42
• 分布式类型（distributed_type）: 多 GPU
• 优化器（optimizer）: Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 学习率调度器类型（lr_scheduler_type）: 线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）: 500
• 训练步数（training_steps）: 60000
• 混合精度训练（mixed_precision_training）: 原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.11.0

📄 许可证

本模型采用 Apache-2.0 许可证。