Whisper Base Hungarian V1

🚀 匈牙利语Whisper Base模型

本模型是基于现有工具和技术，针对匈牙利语微调的最优Whisper Base模型。相较于其他针对匈牙利语微调的Base模型，它在所有数据集上都取得了显著更优的效果！

🚀 快速开始

本模型是 openai/whisper-base 在 sarpba/big_audio_data_hun 数据集上的微调版本。

测试结果如下：

• ("google/fleurs", "hu_hu", "test")（训练期间）
  • 损失值（Loss）: 0.7999
  • 拼写错误率（Wer Ortho）: 33.8788
  • 词错误率（Wer）: 29.4814
• ("mozilla-foundation/common_voice_17_0", "hu", "test")
  • 词错误率（WER）: 25.58
  • 字符错误率（CER）: 6.34
  • 归一化词错误率（Normalised WER）: 21.18
  • 归一化字符错误率（Normalised CER）: 5.31

✨ 主要特性

• 这是一个在特定数据集上针对匈牙利语微调的Whisper Base模型。
• 相较于其他匈牙利语微调的Base模型，在各数据集上效果有数量级的提升。

📚 详细文档

模型描述

这是一个在独特数据集上针对匈牙利语微调的Whisper Base模型。

预期用途和限制

未经本人许可，该模型不得用于商业用途！可根据Whisper原始许可条款用于个人用途！不允许对该微调模型进行商业使用！

训练和评估数据

该模型基于约1200小时精心挑选的匈牙利语音频数据构建。训练期间，使用google/flerus进行测试以监控进展。下方是mozilla - foundation/common_voice_17_0的测试结果。

两个数据集均未包含在训练数据中，模型未受测试数据影响！

训练过程

使用ray[tune]进行了3天的训练优化，使用找到的最优训练参数进行微调大约耗时17小时！

训练超参数

训练期间使用了以下超参数：

• 学习率（learning_rate）: 0.0003
• 训练批次大小（train_batch_size）: 64
• 评估批次大小（eval_batch_size）: 32
• 随机种子（seed）: 42
• 梯度累积步数（gradient_accumulation_steps）: 4
• 总训练批次大小（total_train_batch_size）: 256
• 优化器（optimizer）: Adam，β值为(0.9, 0.999)，ε值为1e - 08
• 学习率调度器类型（lr_scheduler_type）: 线性
• 学习率调度器热身比例（lr_scheduler_warmup_ratio）: 0.05
• 训练步数（training_steps）: 8000
• 混合精度训练（mixed_precision_training）: 原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers 4.45.2
• Pytorch 2.3.0+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1

模型索引

⚠️ 重要提示

未经本人许可，该模型不得用于商业用途！

💡 使用建议

可根据Whisper原始许可条款将模型用于个人用途。