Medical Whisper Large V3

🚀 醫學版Whisper大模型

本模型是基於openai/whisper-large-v3微調的醫學語音識別模型，可有效應用於醫療轉錄場景，在醫療數據上表現出色。

🚀 快速開始

本模型是 openai/whisper-large-v3 在primock_data數據集上的微調版本。

✨ 主要特性

• 模型描述：通過遷移學習，在醫患諮詢數據上對whisper-large-v3進行微調。
• 預期用途與限制：主要用於醫學轉錄。
• 訓練和評估數據：使用了Na0s/Medical_Augmented_data數據集。
• 訓練過程：採用了詳盡的遷移學習方法。

📚 詳細文檔

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e - 05
• 訓練批次大小（train_batch_size）：6
• 評估批次大小（eval_batch_size）：6
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：4
• 總訓練批次大小（total_train_batch_size）：24
• 優化器（optimizer）：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型（lr_scheduler_type）：constant_with_warmup
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：50
• 訓練步數（training_steps）：500
• 混合精度訓練（mixed_precision_training）：Native AMP

性能概述

驗證集上基礎Whisper模型與醫學版Whisper模型的性能對比

測試集上醫學版Whisper模型的性能

框架版本

• Transformers：4.42.4
• Pytorch：2.3.1+cu121
• Datasets：2.20.0
• Tokenizers：0.19.1

📄 許可證

本模型採用Apache - 2.0許可證。