Whisper Medium.en Fine Tuned For ATC Faster Whisper

🚀 針對空中交通管制（ATC）微調的Whisper Medium EN模型 - Faster-Whisper優化版

本模型是對OpenAI的Whisper Medium EN模型進行微調後的版本，專門針對空中交通管制（ATC） 通信數據集進行訓練。與原始預訓練模型相比，微調過程顯著提高了特定領域航空通信的轉錄準確性，單詞錯誤率（WER）降低了84%。該模型在處理ATC通信中常見的口音差異和模糊表述方面尤其有效。

✨ 主要特性

• 本模型已轉換為優化的.bin格式，與Faster-Whisper兼容，可實現更快、更高效的推理。
• 基礎模型：OpenAI Whisper Medium EN
• 微調後模型的WER：15.08%
• 預訓練模型的WER：94.59%
• 相對改進：84.06%
• 優化格式：與Faster-Whisper兼容

你可以在Hugging Face上訪問微調後的模型：

• 針對ATC微調的Whisper Medium EN
• 針對ATC微調的Whisper Medium EN（Faster Whisper）

📚 詳細文檔

模型描述

針對ATC微調的Whisper Medium EN模型經過優化，可處理飛行員與空中交通管制員之間簡短、清晰的傳輸信息。它使用來自**ATC數據集** 的數據進行微調，該數據集是一個經過合併和清理的數據集，來源如下：

• ATCO2語料庫 （1小時測試子集）
• UWB - ATCC語料庫

ATC數據集將這兩個原始來源合併，對數據進行過濾和精煉，以提高特定領域ATC通信的轉錄準確性。該模型進一步優化為.bin格式，以與Faster-Whisper兼容，確保更快、更高效的處理。

預期用途

微調後的Whisper模型旨在用於以下方面：

• 航空通信轉錄：為ATC通信提供準確的轉錄，包括英語表述中的口音和變體。
• 空中交通管制系統：協助即時轉錄飛行員與ATC之間的對話，有助於提高態勢感知能力。
• 研究和培訓：對研究ATC通信或開發航空安全新工具的研究人員、開發人員或航空專業人員有用。

你可以使用ATC轉錄助手在線測試該模型，該工具允許你上傳音頻文件並生成轉錄內容。

訓練過程

• 硬件：在兩個配備80GB內存的A100 GPU上進行微調。
• 輪數：10
• 學習率：1e - 5
• 批量大小：32（通過梯度累積實現的有效批量大小）
• 數據增強：在訓練期間應用了動態數據增強技術（高斯噪聲、音高變換等）。
• 評估指標：單詞錯誤率（WER）

侷限性

雖然微調後的模型在特定的ATC通信中表現良好，但在其他語音領域的泛化能力可能不佳。此外，與大多數語音轉文本模型一樣，轉錄準確性可能會受到極低質量音頻或訓練期間未遇到的濃重口音語音的影響。

📄 許可證

本模型採用MIT許可證。

引用信息

參考資料

• 博客文章：[針對ATC微調Whisper：轉錄準確性提高84%](https://jacktol.net/posts/fine - tuning_whisper_for_atc/)
• GitHub倉庫：[在ATC數據上微調Whisper](https://github.com/jack - tol/fine - tuning - whisper - on - atc - data/tree/main)