Voice Safety Classifier V2

🚀 語音安全分類模型

本項目提供了一個語音安全分類模型，可用於語音毒性檢測與分類。該模型能有效識別多種語言語音中的有害信息，為語音交流環境的安全保駕護航。

🚀 快速開始

安裝依賴

推理文件所需的依賴可以按以下方式安裝：

pip install -r requirements.txt

運行推理

提供的 Python 文件展示瞭如何使用該分類器處理任意 16kHz 音頻輸入。要運行推理，請執行以下命令：

python inference.py --audio_file <your audio file path> --model_path <path to Huggingface model>

你可以從模型發佈頁面下載模型權重，也可以從 HuggingFace 的 roblox/voice-safety-classifier-v2 下載。如果未指定 model_path，模型將直接從 HuggingFace 加載。

✨ 主要特性

• 多語言支持：支持英語、西班牙語、德語、法語、葡萄牙語、意大利語、韓語和日語共八種語言。
• 多標籤分類：以多標籤方式將輸入音頻分類為六種毒性類別，包括歧視、騷擾、性相關、違法違規、約會與浪漫和褻瀆。
• 高精度分類：與 v1 語音安全分類器相比，v2 模型將支持語言從英語擴展到另外七種語言，並顯著提高了分類準確率。在 1% 的誤報率下，英語的二元召回率提高了 92%。

📦 安裝指南

推理文件所需的依賴可以按以下方式安裝：

pip install -r requirements.txt

💻 使用示例

基礎用法

# 運行推理的命令示例
python inference.py --audio_file <your audio file path> --model_path <path to Huggingface model>

📚 詳細文檔

模型描述

我們推出了一個語音安全分類模型，可用於語音毒性檢測與分類。該模型是從一個更大的教師模型中提煉到 WavLM 架構中的。所有的模型訓練都是使用 Roblox 內部語音聊天數據集進行的，同時使用了機器和人工標註的數據，總訓練數據超過 10 萬小時。我們還發布了一篇關於這項工作的博客文章。

該模型支持八種語言：英語、西班牙語、德語、法語、葡萄牙語、意大利語、韓語和日語。它以多標籤方式將輸入音頻分類為六種毒性類別，類別標籤如下：歧視、騷擾、性相關、違法違規、約會與浪漫和褻瀆。有關用於標註數據集的政策的詳細解釋，請參考 Roblox 社區標準。模型輸出已針對 Roblox 語音聊天環境進行了校準，因此經過 sigmoid 函數處理後的類別分數可以解釋為概率。

分類器期望輸入 16kHz 的音頻片段，理想的片段長度為 15 秒，但也可以處理更短的片段。對於較長的片段，預測準確率可能會下降。

評估指標

下表展示了在內部特定語言的保留數據集上計算的每種支持語言的評估精度和召回率，這些數據集與 Roblox 語音聊天流量相似。每個類別的操作閾值在每種語言中保持一致，並進行了優化以實現 1% 的誤報率。然後將分類器作為二元分類器進行評估，如果任何一個頭部超過閾值，則將音頻標記為陽性。

與 v1 語音安全分類器相比，v2 模型將支持語言從英語擴展到另外七種語言，並顯著提高了分類準確率。在上述 1% 的誤報率下，英語的二元召回率提高了 92%。

📄 許可證

本項目採用 CC BY-SA 3.0 許可證。