🚀 話者セグメンテーション
このモデルは、重複音声を考慮した話者再セグメンテーションを実現するエンドツーエンドの話者セグメンテーションモデルです。

このモデルは、Hervé BredinとAntoine Laurentによる論文 End-to-end speaker segmentation for overlap-aware resegmentation から派生したものです。
オンラインデモ は、Hugging Face Spaceとして利用可能です。
🚀 クイックスタート
このモデルは、開発中のpyannote.audio 2.0に依存しています。インストール手順 を参照してください。
✨ 主な機能
📦 インストール
このモデルは、開発中のpyannote.audio 2.0に依存しています。インストール手順 を参照してください。
💻 使用例
基本的な使用法
音声活性検出
from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation="pyannote/segmentation")
HYPER_PARAMETERS = {
"onset": 0.5, "offset": 0.5,
"min_duration_on": 0.0,
"min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
重複音声検出
from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation="pyannote/segmentation")
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
再セグメンテーション
from pyannote.audio.pipelines import Resegmentation
pipeline = Resegmentation(segmentation="pyannote/segmentation",
diarization="baseline")
pipeline.instantiate(HYPER_PARAMETERS)
resegmented_baseline = pipeline({"audio": "audio.wav", "baseline": baseline})
生のスコア取得
from pyannote.audio import Inference
inference = Inference("pyannote/segmentation")
segmentation = inference("audio.wav")
高度な使用法
論文 "End-to-end speaker segmentation for overlap-aware resegmentation" の結果を再現するには、以下のハイパーパラメータで pyannote/segmentation@Interspeech2021
を使用します。
音声活性検出 |
onset |
offset |
min_duration_on |
min_duration_off |
AMI Mix-Headset |
0.684 |
0.577 |
0.181 |
0.037 |
DIHARD3 |
0.767 |
0.377 |
0.136 |
0.067 |
VoxConverse |
0.767 |
0.713 |
0.182 |
0.501 |
重複音声検出 |
onset |
offset |
min_duration_on |
min_duration_off |
AMI Mix-Headset |
0.448 |
0.362 |
0.116 |
0.187 |
DIHARD3 |
0.430 |
0.320 |
0.091 |
0.144 |
VoxConverse |
0.587 |
0.426 |
0.337 |
0.112 |
VBxの再セグメンテーション |
onset |
offset |
min_duration_on |
min_duration_off |
AMI Mix-Headset |
0.542 |
0.527 |
0.044 |
0.705 |
DIHARD3 |
0.592 |
0.489 |
0.163 |
0.182 |
VoxConverse |
0.537 |
0.724 |
0.410 |
0.563 |
予想される出力(およびVBxベースライン)は、/reproducible_research
サブディレクトリにも提供されています。
📚 ドキュメント
サポート
商業的な問い合わせや科学的なコンサルティングについては、私 に連絡してください。
技術的な質問 や バグレポート については、pyannote.audio のGitHubリポジトリを確認してください。
📄 ライセンス
このプロジェクトはMITライセンスの下で公開されています。
引用
@inproceedings{Bredin2021,
Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
Booktitle = {Proc. Interspeech 2021},
Address = {Brno, Czech Republic},
Month = {August},
Year = {2021},
@inproceedings{Bredin2020,
Title = {{pyannote.audio: neural building blocks for speaker diarization}},
Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
Address = {Barcelona, Spain},
Month = {May},
Year = {2020},
}