Atc Pilot Speaker Role Classification Model

🚀 ATC - 飛行員發言者角色分類模型

這是一個二分類序列模型，旨在僅基於文本，判斷給定的空中交通通信話語是來自飛行員還是空中交通管制員（ATC）。傳統上，空中交通通信中的發言者角色歸屬依賴於聲學特徵，如語音特性和信道分離。該模型突破了這一傳統，完全在文本領域處理此任務，使用基於 Transformer 的架構進行微調，以進行發言者角色預測。

🚀 快速開始

本模型可用於對空中交通通信話語進行分類，判斷其發言者是飛行員還是空中交通管制員。以下是使用示例：

Input: "CLEARED FOR TAKEOFF RUNWAY ONE ONE LEFT"  
Prediction: "ATC"

Input: "REQUESTING PUSHBACK"  
Prediction: "PILOT"  

✨ 主要特性

• 文本領域分類：完全基於文本進行發言者角色分類，突破了傳統依賴聲學特徵的方式。
• 高性能表現：在測試集上取得了較高的準確率、精確率、召回率和 F1 分數。
• 可擴展性：可用於多種相關任務，如發言者角色標記、多模態 ATC 系統預處理等。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

Input: "CLEARED FOR TAKEOFF RUNWAY ONE ONE LEFT"  
Prediction: "ATC"

Input: "REQUESTING PUSHBACK"  
Prediction: "PILOT"  

📚 詳細文檔

任務描述

該模型對單輪話語進行二分類，以分配以下兩種發言者角色之一：

• PILOT
• ATC 它使用 DeBERTa - v3 - large 模型在手動處理和標記的空中交通通信轉錄本上進行微調。

評估性能

該模型在測試集上取得了以下結果：

• 準確率：96.64%
• 精確率：96.40%
• 召回率：96.91%
• F1 分數：96.65%

預處理與訓練設置

使用了自定義的預處理管道來準備訓練數據，包括：

• 基於已知呼號和短語模式的發言者歸屬啟發式方法
• 短語歸一化
• 文本標準化
• 過濾無關話語
• 數據集平衡 每個話語都被獨立處理並標記，用於發言者角色分類。

模型架構

• 基礎模型：microsoft/deberta - v3 - large
• 任務類型：SequenceClassification (num_labels = 2)
• 訓練設置：
  • 在 2x H100 80GB SXM5 上訓練
  • 帶有預熱（10%）的餘弦學習率調度
  • 批量大小：128
  • 基於 F1 分數的提前停止
  • 最大序列長度：256 個標記
  • 混合精度訓練（FP16）
  • 每 200 步進行一次評估

預期用途

本模型旨在用於：

• 空中交通管制通信轉錄本中的發言者角色標記
• 多模態 ATC 系統的預處理
• 為下游任務過濾或構建大型航空文本語料庫

侷限性

• 僅對單輪話語進行操作；不使用輪次級或對話上下文。
• 像 "ROGER" 或 "THANK YOU" 這樣的模糊傳輸可能僅使用文本難以分類。
• 可能需要額外的模態（如音頻特徵、元數據）進行完全消歧。

基準比較

本模型在僅基於文本的發言者角色分類方面優於先前基於 Transformer 的模型。為作比較，[Juan Zuluaga - Gomez](https://huggingface.co/Jzuluaga/bert - base - speaker - role - atc - en - uwb - atcc) 的相關模型基於 BERT - base，取得了以下結果：

• 準確率：89.03%
• 精確率：87.10%
• 召回率：91.63%
• F1 分數：89.31% 此處展示的微調後的 DeBERTa - v3 - large 模型明顯優於此基線：
• 準確率：96.64%
• 精確率：96.40%
• 召回率：96.91%
• F1 分數：96.65% 包含 Jupyter 筆記本以重現和比較評估：
• evaluate_juans_model.ipynb
• evaluate_jacks_model.ipynb 這些筆記本使用相同的測試集評估兩個模型，並打印詳細的分類指標。

參考資料

• [Juan Zuluaga - Gomez – Hugging Face 模型](https://huggingface.co/Jzuluaga/bert - base - speaker - role - atc - en - uwb - atcc)
• DeBERTa: 具有解糾纏注意力的解碼增強 BERT
• [GitHub 倉庫 – ATC 飛行員發言者角色分類任務](https://github.com/jack - tol/atc - pilot - speaker - role - classification - task)

🔧 技術細節

本模型使用自定義的預處理管道處理訓練數據，包括基於已知呼號和短語模式的發言者歸屬啟發式方法、短語歸一化、文本標準化等。以 microsoft/deberta - v3 - large 為基礎模型，在 2x H100 80GB SXM5 上進行訓練，採用餘弦學習率調度和提前停止策略等。

📄 許可證

本項目採用 MIT 許可證。