Atc Pilot Speaker Role Classification Model

🚀 ATC-Pilot話者役割分類モデル

このモデルは、与えられた航空交通通信の発話がパイロットまたは航空交通管制官 (ATC) のどちらから来たかを、テキストのみに基づいて判断するための二値シーケンス分類モデルです。

従来、航空交通通信における話者役割の帰属は、声の特徴やチャネル分離などの音響特徴に依存していました。このモデルは、話者役割予測のために微調整されたトランスフォーマーベースのアーキテクチャを使用して、このタスクを完全にテキストドメインで扱うことで、その慣例から逸脱しています。

🚀 クイックスタート

このモデルは、与えられた航空交通通信の発話がパイロットまたは航空交通管制官のどちらから来たかをテキストのみで判断する二値分類モデルです。以下に詳細を説明します。

✨ 主な機能

タスク説明

このモデルは、単一ターンの発話に対して二値分類を行い、次の2つの話者役割のいずれかを割り当てます。

• PILOT
• ATC

このモデルは、手動で処理されラベル付けされた航空交通通信のトランスクリプトを使用して、DeBERTa-v3-largeモデルを微調整しています。

評価性能

このモデルは、テストセットで次の結果を達成しています。

• Accuracy: 96.64%
• Precision: 96.40%
• Recall: 96.91%
• F1 Score: 96.65%

前処理とトレーニングの設定

トレーニングデータを準備するために、次のようなカスタムの前処理パイプラインが使用されています。

• 既知のコールサインやフレーズパターンに基づく話者帰属のヒューリスティック
• フレーズの正規化
• テキストの標準化
• 関連性のない発話のフィルタリング
• データセットのバランス調整

各発話は独立して扱われ、話者役割分類のためにラベル付けされます。

モデルアーキテクチャ

• ベースモデル: microsoft/deberta-v3-large
• タスクタイプ: SequenceClassification (num_labels=2)
• トレーニング設定:
  • 2x H100 80GB SXM5でトレーニング
  • ウォームアップ付きのコサイン学習率スケジュール (10%)
  • バッチサイズ: 128
  • F1スコアに基づく早期終了
  • 最大シーケンス長: 256トークン
  • 混合精度トレーニング (FP16)
  • 200ステップごとの評価

想定される用途

このモデルは、以下の用途を想定しています。

• ATC通信トランスクリプトの話者役割タグ付け
• マルチモーダルATCシステムの前処理
• 下流タスクのための航空テキストの大規模コーパスのフィルタリングまたは構造化

制限事項

• 単一ターンの発話のみで動作し、ターンレベルや対話コンテキストは使用されません。
• "ROGER"や"THANK YOU"のような曖昧な送信は、テキストのみでは分類が困難な場合があります。
• 完全な曖昧さ解消には、追加のモダリティ（例えば、音声特徴、メタデータ）が必要な場合があります。

💻 使用例

基本的な使用法

Input: "CLEARED FOR TAKEOFF RUNWAY ONE ONE LEFT"  
Prediction: "ATC"

Input: "REQUESTING PUSHBACK"  
Prediction: "PILOT"  

📚 ドキュメント

ベンチマーク比較

このモデルは、テキストのみの話者役割分類のための従来のトランスフォーマーベースのモデルを改善しています。比較のために、Juan Zuluaga-Gomezによる関連モデル（BERT-baseベース）は、次の結果を達成しています。

• Accuracy: 89.03%
• Precision: 87.10%
• Recall: 91.63%
• F1 Score: 89.31%

ここで提示されている微調整されたDeBERTa-v3-largeモデルは、このベースラインを大幅に上回っています。

• Accuracy: 96.64%
• Precision: 96.40%
• Recall: 96.91%
• F1 Score: 96.65%

評価を再現し比較するためのJupyterノートブックが含まれています。

• evaluate_juans_model.ipynb
• evaluate_jacks_model.ipynb

これらは、同じテストセットを使用して両方のモデルを評価し、詳細な分類指標を出力します。

参考文献

• Juan Zuluaga-Gomez – Hugging Face Model
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention
• GitHub Repository – ATC Pilot Speaker Role Classification Task

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。