Voice Safety Classifier V2

🚀 语音安全分类模型

本项目提供了一个语音安全分类模型，可用于语音毒性检测与分类。该模型能有效识别多种语言语音中的有害信息，为语音交流环境的安全保驾护航。

🚀 快速开始

安装依赖

推理文件所需的依赖可以按以下方式安装：

pip install -r requirements.txt

运行推理

提供的 Python 文件展示了如何使用该分类器处理任意 16kHz 音频输入。要运行推理，请执行以下命令：

python inference.py --audio_file <your audio file path> --model_path <path to Huggingface model>

你可以从模型发布页面下载模型权重，也可以从 HuggingFace 的 roblox/voice-safety-classifier-v2 下载。如果未指定 model_path，模型将直接从 HuggingFace 加载。

✨ 主要特性

• 多语言支持：支持英语、西班牙语、德语、法语、葡萄牙语、意大利语、韩语和日语共八种语言。
• 多标签分类：以多标签方式将输入音频分类为六种毒性类别，包括歧视、骚扰、性相关、违法违规、约会与浪漫和亵渎。
• 高精度分类：与 v1 语音安全分类器相比，v2 模型将支持语言从英语扩展到另外七种语言，并显著提高了分类准确率。在 1% 的误报率下，英语的二元召回率提高了 92%。

📦 安装指南

推理文件所需的依赖可以按以下方式安装：

pip install -r requirements.txt

💻 使用示例

基础用法

# 运行推理的命令示例
python inference.py --audio_file <your audio file path> --model_path <path to Huggingface model>

📚 详细文档

模型描述

我们推出了一个语音安全分类模型，可用于语音毒性检测与分类。该模型是从一个更大的教师模型中提炼到 WavLM 架构中的。所有的模型训练都是使用 Roblox 内部语音聊天数据集进行的，同时使用了机器和人工标注的数据，总训练数据超过 10 万小时。我们还发布了一篇关于这项工作的博客文章。

该模型支持八种语言：英语、西班牙语、德语、法语、葡萄牙语、意大利语、韩语和日语。它以多标签方式将输入音频分类为六种毒性类别，类别标签如下：歧视、骚扰、性相关、违法违规、约会与浪漫和亵渎。有关用于标注数据集的政策的详细解释，请参考 Roblox 社区标准。模型输出已针对 Roblox 语音聊天环境进行了校准，因此经过 sigmoid 函数处理后的类别分数可以解释为概率。

分类器期望输入 16kHz 的音频片段，理想的片段长度为 15 秒，但也可以处理更短的片段。对于较长的片段，预测准确率可能会下降。

评估指标

下表展示了在内部特定语言的保留数据集上计算的每种支持语言的评估精度和召回率，这些数据集与 Roblox 语音聊天流量相似。每个类别的操作阈值在每种语言中保持一致，并进行了优化以实现 1% 的误报率。然后将分类器作为二元分类器进行评估，如果任何一个头部超过阈值，则将音频标记为阳性。

与 v1 语音安全分类器相比，v2 模型将支持语言从英语扩展到另外七种语言，并显著提高了分类准确率。在上述 1% 的误报率下，英语的二元召回率提高了 92%。

📄 许可证

本项目采用 CC BY-SA 3.0 许可证。