Whisper Small Medical Speech Recognition

🚀 whisper-small-medical-speech-recognition

このモデルは、医療用の音声認識を目的としたモデルです。openai/whisper-small をベースに微調整されています。

🚀 クイックスタート

このモデルは、openai/whisper-small をNoneデータセットで微調整したバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.7663
• 単語誤り率 (Wer): 76.9366

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (ベータ=(0.9,0.999)、イプシロン=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• 学習ステップ: 350
• 混合精度学習: Native AMP

フレームワークのバージョン

• Transformers 4.38.0.dev0
• Pytorch 2.1.0+cu121
• Datasets 2.16.1
• Tokenizers 0.15.1

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。