Segmentation

🚀 pyannote.audio // 說話人分割

本項目是一個用於說話人分割的模型，能夠進行語音活動檢測、重疊語音檢測和重新分割等任務。它基於論文提出的方法，依賴於正在開發中的 pyannote.audio 2.0 版本。

此模型來自論文 End-to-end speaker segmentation for overlap-aware resegmentation，由 Hervé Bredin 和 Antoine Laurent 完成。

該模型依賴於目前正在開發中的 pyannote.audio 2.0：請查看 安裝說明。

🚀 快速開始

本模型可用於語音活動檢測、重疊語音檢測、重新分割等任務，具體使用方法見下文。

✨ 主要特性

• 多任務支持：支持語音活動檢測、重疊語音檢測和重新分割等多種任務。
• 基於論文方法：模型基於特定論文提出的端到端說話人分割方法。
• 依賴開發版本：依賴於正在開發中的 pyannote.audio 2.0 版本。

📦 安裝指南

依賴於目前正在開發中的 pyannote.audio 2.0，安裝說明請參考：安裝說明。

💻 使用示例

基礎用法

語音活動檢測

from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation="pyannote/segmentation")
HYPER_PARAMETERS = {
  # onset/offset activation thresholds
  "onset": 0.5, "offset": 0.5,
  # remove speech regions shorter than that many seconds.
  "min_duration_on": 0.0,
  # fill non-speech regions shorter than that many seconds.
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
# `vad` is a pyannote.core.Annotation instance containing speech regions

重疊語音檢測

from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation="pyannote/segmentation")
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
# `osd` is a pyannote.core.Annotation instance containing overlapped speech regions

重新分割

from pyannote.audio.pipelines import Resegmentation
pipeline = Resegmentation(segmentation="pyannote/segmentation", 
                          diarization="baseline")
pipeline.instantiate(HYPER_PARAMETERS)
resegmented_baseline = pipeline({"audio": "audio.wav", "baseline": baseline})
# where `baseline` should be provided as a pyannote.core.Annotation instance

原始分數

from pyannote.audio import Inference
inference = Inference("pyannote/segmentation")
segmentation = inference("audio.wav")
# `segmentation` is a pyannote.core.SlidingWindowFeature
# instance containing raw segmentation scores like the 
# one pictured above (output)

高級用法

為了復現論文 "End-to-end speaker segmentation for overlap-aware resegmentation" 的結果，可使用以下超參數：

預期輸出（和 VBx 基線）也在 /reproducible_research 子目錄中提供。

📚 詳細文檔

支持信息

• 商業諮詢和科學諮詢：請聯繫 我。
• 技術問題和錯誤報告：請查看 pyannote.audio 的 Github 倉庫，技術問題討論 和 錯誤報告 都可在此進行。

📄 許可證

本項目採用 MIT 許可證。

📚 引用

如果您使用了本項目，請引用以下論文：

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\\\\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}