Voice Safety Classifier

🚀 語音安全分類模型

本項目推出了一個大型分類模型，該模型基於人工精心篩選的真實世界數據集進行訓練，可作為推進毒性檢測與分類研究的新基準。此模型從WavLM base plus的原始權重開始，使用2374小時的語音聊天音頻片段進行微調，以實現多標籤分類。這些音頻片段通過我們博客文章中描述的合成數據管道自動標註。模型的單個輸出可以有多個標籤。

✨ 主要特性

• 基於人工篩選的真實世界數據集訓練，可作為毒性檢測與分類研究的新基準。
• 從WavLM base plus的原始權重開始微調，使用2374小時語音聊天音頻片段進行多標籤分類。
• 輸出一個n×6的張量，推斷標籤包括Profanity、DatingAndSexting、Racist、Bullying、Other、NoViolation。
• 在包含9795個樣本的人工標註數據集上進行評估。
• 若對所有類別設置相同閾值並將模型視為二元分類器，二元平均精度可達94.48%。

📦 安裝指南

推理文件的依賴項可以按以下方式安裝：

pip install -r requirements.txt

💻 使用示例

基礎用法

推理文件包含用於預處理音頻文件以進行正確推理的實用輔助函數。要運行推理文件，請執行以下命令：

python inference.py --audio_file <your audio file path> --model_path <path to Huggingface model>

你可以從此處的模型發佈頁面下載模型權重，也可以從HuggingFace的roblox/voice-safety-classifier獲取。如果未指定model_path，模型將直接從HuggingFace加載。

🔧 技術細節

模型從WavLM base plus的原始權重開始，使用2374小時的語音聊天音頻片段進行微調，以實現多標籤分類。音頻片段通過我們博客文章中描述的合成數據管道自動標註。模型輸出一個n×6的輸出張量，推斷標籤為Profanity、DatingAndSexting、Racist、Bullying、Other、NoViolation。Other包含低發生率的政策違規類別，如毒品和酒精或自殘等，這些類別合併為一個類別。

我們在一個包含人工標註標籤的數據集上評估了該模型，該數據集共有9795個樣本，類別分佈如下。請注意，我們在這個評估數據集中未包含“other”類別。

如果我們對所有類別設置相同的閾值，並將模型視為所有4個毒性類別（Profanity、DatingAndSexting、Racist、Bullying）的二元分類器，我們得到的二元平均精度為94.48%。精確召回曲線如下所示。

📄 許可證

本項目採用CC BY-SA 3.0許可證。