Whisper Medium Portuguese

🚀 ポルトガル語用ミディアムWhisperモデル

このモデルは、openai/whisper-mediumをcommon_voice_11_0データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.2628
• 単語誤り率 (Wer): 6.5987

✨ 主な機能

ブログ記事

このモデルに関するすべての情報は、このブログ記事に掲載されています。Speech-to-Text & IA | Transcreva qualquer áudio para o português com o Whisper (OpenAI)... sem nenhum custo!

新たなSOTA達成

OpenAI Whisperの論文でCommon Voice 9.0テストデータセットを使用した正規化単語誤り率は8.1です。

このテストデータセットは、当モデルの評価に使用したCommon Voice 11.0テストデータセットに類似しています。これは、当ポルトガル語用ミディアムWhisperモデルは、ポルトガル語の音声をテキストに変換する能力において、Medium Whisperモデルよりも優れており、正規化単語誤り率が7.1のWhisper Largeよりもさらに良い結果を示しています。

🔧 技術詳細

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 9e-06
• トレーニングバッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 16
• 乱数シード (seed): 42
• オプティマイザ (optimizer): Adam (ベータ=(0.9, 0.999), イプシロン=1e-08)
• 学習率スケジューラの種類 (lr_scheduler_type): 線形
• 学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps): 500
• トレーニングステップ数 (training_steps): 6000
• 混合精度トレーニング (mixed_precision_training): Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.13.2

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。