Smart Turn V2

🚀 Smart Turn v2

Smart Turn v2 是一個開源的語義語音活動檢測（VAD）模型，它通過分析原始波形而非轉錄文本，來判斷 說話者是否已結束髮言。與 v1 相比，它具有以下優勢：

• 多語言支持：支持 14 種語言（英語、法語、德語、西班牙語、葡萄牙語、中文、日語、印地語、意大利語、韓語、荷蘭語、波蘭語、俄語、土耳其語）。
• 模型體積縮小 6 倍：約 360 MB，而 v1 為 2.3 GB。
• 速度提升 3 倍：在 NVIDIA L40S 上分析 8 秒音頻約需 12 毫秒。

🚀 快速開始

from transformers import pipeline
import soundfile as sf

pipe = pipeline(
    "audio-classification",
    model="pipecat-ai/smart-turn-v2",
    feature_extractor="facebook/wav2vec2-base"
)

speech, sr = sf.read("user_utterance.wav")
if sr != 16_000:
    raise ValueError("Resample to 16 kHz")

result = pipe(speech, top_k=None)[0]
print(f"Completed turn? {result['label']}  Prob: {result['score']:.3f}")
# label == 'complete' → user has finished speaking

✨ 主要特性

• 多語言支持：支持 14 種語言，能夠滿足不同語言環境下的語音活動檢測需求。
• 模型體積小：相較於 v1 版本，模型體積大幅縮小，僅約 360 MB，更易於部署和使用。
• 速度快：分析音頻的速度提升 3 倍，在 NVIDIA L40S 上分析 8 秒音頻僅需約 12 毫秒。

📚 詳細文檔

預期用途與任務

該模型輸出一個單一概率值；值 ≥ 0.5 表示說話者已完成發言。

模型架構

• 骨幹網絡：wav2vec2 編碼器
• 頭部網絡：淺層線性分類器
• 參數數量：9480 萬（float32）
• 檢查點：360 MB Safetensors（壓縮）

在消融研究中，wav2vec2 + 線性 配置的性能優於 LSTM 和更深層的 Transformer 變體。

訓練數據

• 句子使用 Gemini 2.5 Flash 進行清理，以去除不合語法、有爭議或僅用於書面表達的文本。
• 使用 Claude 和 GPT-o3 為每種語言構建填充詞列表（如“um”、“えーと”），並將其插入句子末尾附近，以訓練模型識別中斷的語音。

所有音頻/文本對均發佈在 pipecat-ai/datasets 倉庫中。

評估與性能

未見合成測試集上的準確率（50% 完整 / 50% 不完整）

人工英語基準測試（human_5_all）：準確率為 99%。

8 秒音頻的推理延遲

oai_citation:7‡Daily

📄 許可證

本模型採用 BSD 2 條款許可證。