Whisper Medium Id

🚀 印尼语版Whisper Medium模型

本模型是基于 openai/whisper-medium 在印尼语的 mozilla-foundation/common_voice_11_0、magic_data、titml 和 google/fleurs 数据集上微调得到的。它取得了以下成果：

🔍 模型信息

🚀 快速开始

本模型在印尼语的 mozilla-foundation/common_voice_11_0、magic_data、titml 和 google/fleurs 数据集上进行了微调，取得了不错的效果。以下是详细的使用说明和评估结果。

✨ 主要特性

• 在印尼语数据集上微调，对印尼语语音识别有更好的效果。
• 提供了具体的训练超参数和训练结果，方便参考和复现。
• 对模型进行了多数据集的评估，展示了模型的性能。

📦 安装指南

暂未提供安装步骤，可参考 Hugging Face 上 transformers 库的安装方法。

💻 使用示例

基础用法

from transformers import pipeline
transcriber = pipeline(
  "automatic-speech-recognition", 
  model="cahya/whisper-medium-id"
)
transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="id", 
    task="transcribe"
  )
)
transcription = transcriber("my_audio_file.mp3")

📚 详细文档

预期用途和限制

更多信息待补充。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）: 1e-06
• 训练批次大小（train_batch_size）: 16
• 评估批次大小（eval_batch_size）: 16
• 随机种子（seed）: 42
• 优化器（optimizer）: Adam，β=(0.9, 0.999)，ε=1e-08
• 学习率调度器类型（lr_scheduler_type）: 线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）: 500
• 训练步数（training_steps）: 10000
• 混合精度训练（mixed_precision_training）: 原生 AMP

训练结果

评估

我们使用 Common Voice 11 和 Google Fleurs 两个数据集的测试集对模型进行了评估。由于 Whisper 可以识别大小写和标点符号，我们还使用原始文本和归一化文本（小写 + 去除标点）对其性能进行了评估。结果如下：

Common Voice 11

Google/Fleurs

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.13.2

📄 许可证

本模型使用 Apache-2.0 许可证。