Smart Turn V2

🚀 Smart Turn v2

Smart Turn v2 は、オープンソースのセマンティック音声活動検出（VAD）モデルです。このモデルは、文字起こしではなく生の波形を分析することで、「話者が発話を終えたかどうか」 を判断します。
v1と比較すると、以下のような特徴があります。

• 多言語対応 – 14の言語（英語、フランス語、ドイツ語、スペイン語、ポルトガル語、中国語、日本語、ヒンディー語、イタリア語、韓国語、オランダ語、ポーランド語、ロシア語、トルコ語）に対応。
• 6倍小さい – 約360MB（v1は2.3GB）。
• 3倍高速 – NVIDIA L40Sで8秒の音声を分析するのに約12ms（v1より高速）。

🚀 クイックスタート

基本的な使用法

from transformers import pipeline
import soundfile as sf

pipe = pipeline(
    "audio-classification",
    model="pipecat-ai/smart-turn-v2",
    feature_extractor="facebook/wav2vec2-base"
)

speech, sr = sf.read("user_utterance.wav")
if sr != 16_000:
    raise ValueError("Resample to 16 kHz")

result = pipe(speech, top_k=None)[0]
print(f"Completed turn? {result['label']}  Prob: {result['score']:.3f}")
# label == 'complete' → user has finished speaking

✨ 主な機能

対応言語

このモデルは、以下の14の言語に対応しています。

• en
• fr
• de
• es
• pt
• zh
• ja
• hi
• it
• ko
• nl
• pl
• ru
• tr

性能向上

v1と比較して、以下の点で性能が向上しています。

• サイズが6倍小さい：約360MB（v1は2.3GB）。
• 速度が3倍速い：NVIDIA L40Sで8秒の音声を分析するのに約12ms（v1より高速）。

📚 ドキュメント

想定される使用法とタスク

モデルは単一の確率を出力します。値が0.5以上の場合、話者が発話を完了したことを示します。

モデルアーキテクチャ

• バックボーン：wav2vec2 エンコーダ
• ヘッド：浅い線形分類器
• パラメータ：94.8M（float32）
• チェックポイント：360MB Safetensors（圧縮済み）

アブレーション研究では、wav2vec2 + 線形 の構成がLSTMやより深いトランスフォーマーのバリアントよりも優れた性能を示しました。

学習データ

• 文はGemini 2.5 Flashを使用してクリーニングされ、文法的に誤りがある、論争的な、または書き言葉のみのテキストが削除されました。
• 各言語のフィラーワードリスト（例：「um」、「えーと」）はClaudeとGPT-o3を使用して作成され、文の末尾近くに注入されることで、モデルに中断された発話について学習させました。

すべての音声/テキストペアは、pipecat-ai/datasets ハブで公開されています。

評価と性能

未知の合成テストセットでの精度（50％完了 / 50％未完了）

• 人間の英語のベンチマーク（human_5_all）：99％ の精度。

8秒の音声の推論遅延

oai_citation:7‡Daily

📄 ライセンス

このモデルは、BSD 2条項ライセンスの下で公開されています。