Smart Turn V2

🚀 Smart Turn v2

Smart Turn v2 是一个开源的语义语音活动检测（VAD）模型，它通过分析原始波形而非转录文本，来判断 说话者是否已结束发言。与 v1 相比，它具有以下优势：

• 多语言支持：支持 14 种语言（英语、法语、德语、西班牙语、葡萄牙语、中文、日语、印地语、意大利语、韩语、荷兰语、波兰语、俄语、土耳其语）。
• 模型体积缩小 6 倍：约 360 MB，而 v1 为 2.3 GB。
• 速度提升 3 倍：在 NVIDIA L40S 上分析 8 秒音频约需 12 毫秒。

🚀 快速开始

from transformers import pipeline
import soundfile as sf

pipe = pipeline(
    "audio-classification",
    model="pipecat-ai/smart-turn-v2",
    feature_extractor="facebook/wav2vec2-base"
)

speech, sr = sf.read("user_utterance.wav")
if sr != 16_000:
    raise ValueError("Resample to 16 kHz")

result = pipe(speech, top_k=None)[0]
print(f"Completed turn? {result['label']}  Prob: {result['score']:.3f}")
# label == 'complete' → user has finished speaking

✨ 主要特性

• 多语言支持：支持 14 种语言，能够满足不同语言环境下的语音活动检测需求。
• 模型体积小：相较于 v1 版本，模型体积大幅缩小，仅约 360 MB，更易于部署和使用。
• 速度快：分析音频的速度提升 3 倍，在 NVIDIA L40S 上分析 8 秒音频仅需约 12 毫秒。

📚 详细文档

预期用途与任务

该模型输出一个单一概率值；值 ≥ 0.5 表示说话者已完成发言。

模型架构

• 骨干网络：wav2vec2 编码器
• 头部网络：浅层线性分类器
• 参数数量：9480 万（float32）
• 检查点：360 MB Safetensors（压缩）

在消融研究中，wav2vec2 + 线性 配置的性能优于 LSTM 和更深层的 Transformer 变体。

训练数据

• 句子使用 Gemini 2.5 Flash 进行清理，以去除不合语法、有争议或仅用于书面表达的文本。
• 使用 Claude 和 GPT-o3 为每种语言构建填充词列表（如“um”、“えーと”），并将其插入句子末尾附近，以训练模型识别中断的语音。

所有音频/文本对均发布在 pipecat-ai/datasets 仓库中。

评估与性能

未见合成测试集上的准确率（50% 完整 / 50% 不完整）

人工英语基准测试（human_5_all）：准确率为 99%。

8 秒音频的推理延迟

oai_citation:7‡Daily

📄 许可证

本模型采用 BSD 2 条款许可证。