Wav2vec Vm Finetune

🚀 wav2vec-vm-finetune

本模型是 facebook/wav2vec2-xls-r-300m 針對語音信箱檢測任務的微調版本。它在通話記錄數據集上進行訓練，以區分語音信箱問候語和真人回覆。

🚀 快速開始

本模型基於預訓練模型進行微調，可直接用於語音信箱檢測任務。你可以使用 transformers 庫加載模型並進行推理。

✨ 主要特性

• 基於大規模多語言數據訓練的自監督語音模型 wav2vec2-xls-r-300m 進行微調。
• 可用於AI通話助手的自動語音信箱檢測。
• 可在客服和銷售通話自動化中過濾語音信箱回覆。
• 在語音信箱檢測任務上達到了 98% 的準確率。

📚 詳細文檔

模型描述

該模型基於 wav2vec2-xls-r-300m 構建，這是一個在大規模多語言數據上訓練的自監督語音模型。我們在通話的前兩秒數據上對其進行了微調。

預期用途和限制

預期用途

• 用於AI通話助手的自動語音信箱檢測。
• 在客服和銷售通話自動化中過濾語音信箱回覆。

限制

• 僅在英語數據上進行訓練。
• 假設語音信箱音軌是獨立的，不包含來電者的音頻。
• 設計用於檢測撥打語音信箱時前兩秒的音頻。

訓練和評估數據

模型在一個專有通話記錄數據集上進行訓練，該數據集的標籤包括：

• 真人回覆
• 語音信箱問候語

數據集包含多種類型的語音信箱記錄，以提高模型的泛化能力。

評估指標

模型在語音信箱檢測任務上達到了 98% 的準確率。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

框架版本

• Transformers 4.48.2
• Pytorch 2.5.1+cu124
• Datasets 1.18.3
• Tokenizers 0.21.0

📄 許可證

本項目採用 Apache-2.0 許可證。