Whisper Medium.en Fine Tuned For ATC

🚀 針對空中交通管制（ATC）微調的Whisper Medium EN模型

本模型是對OpenAI的Whisper Medium EN模型進行微調後的版本，專門針對空中交通管制（ATC）通信數據集進行了訓練。與原始預訓練模型相比，微調過程顯著提高了特定領域航空通信的轉錄準確性，將單詞錯誤率（WER）降低了84%。該模型在處理ATC通信中常見的口音變化和模糊表述方面特別有效。

✨ 主要特性

• 微調優化：基於OpenAI Whisper Medium EN基礎模型，針對ATC通信數據進行微調，大幅提升特定領域轉錄準確性。
• 高準確率：微調後模型的單詞錯誤率（WER）僅為15.08%，相較於預訓練模型的94.59%，相對提升了84.06%。
• 廣泛適應性：能夠有效處理各種口音、非標準用語以及嘈雜或失真的通信內容。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

📚 詳細文檔

模型概述

此模型是OpenAI的Whisper Medium EN模型的微調版本，專門在空中交通管制（ATC）通信數據集上進行訓練。與原始預訓練模型相比，微調過程顯著提高了特定領域航空通信的轉錄準確性，將單詞錯誤率（WER）降低了84%。該模型在處理ATC通信中常見的口音變化和模糊表述方面特別有效。

你可以在Hugging Face上訪問微調後的模型：

• 針對ATC微調的Whisper Medium EN
• 針對ATC微調的Whisper Medium EN（Faster Whisper）

模型描述

針對ATC微調的Whisper Medium EN模型經過優化，可處理飛行員與空中交通管制員之間簡短、清晰的通信。它使用以下數據集進行微調：

• ATCO2語料庫（1小時測試子集）
• UWB - ATCC語料庫

ATC數據集合併了這兩個原始來源的數據，並對數據進行過濾和精煉，以提高特定領域ATC通信的轉錄準確性。

預期用途

微調後的Whisper模型旨在用於以下方面：

• 航空通信轉錄：為ATC通信提供準確的轉錄，包括英語口音和表述的變化。
• 空中交通管制系統：協助即時轉錄飛行員與ATC之間的對話，有助於提高態勢感知能力。
• 研究和培訓：對研究ATC通信或開發航空安全新工具的研究人員、開發人員或航空專業人員有用。

你可以使用ATC轉錄助手在線測試該模型，該工具允許你上傳音頻文件並生成轉錄。

訓練過程

• 硬件：在兩塊具有80GB內存的A100 GPU上進行微調。
• 輪數：10
• 學習率：1e - 5
• 批量大小：32（通過梯度累積實現的有效批量大小）
• 增強：訓練期間應用了動態數據增強技術（高斯噪聲、音高轉換等）。
• 評估指標：單詞錯誤率（WER）

侷限性

雖然微調後的模型在特定的ATC通信中表現良好，但在其他語音領域的泛化能力可能有限。此外，像大多數語音轉文本模型一樣，轉錄準確性可能會受到極低質量音頻或訓練過程中未遇到的濃重口音語音的影響。

📄 許可證

本模型採用MIT許可證。

🔗 參考資料

• 博客文章：針對ATC微調Whisper：轉錄準確性提高84%
• GitHub倉庫：在ATC數據上微調Whisper