Segmentation

🚀 pyannote.audio // 話者セグメンテーション

pyannote.audioは、音声データにおける話者セグメンテーションを行うためのモデルです。オーバーラップ音声の検出や再セグメンテーションなど、多様な音声処理タスクに対応しています。

End-to-end speaker segmentation for overlap-aware resegmentation のモデルで、Hervé BredinとAntoine Laurentによるものです。

現在開発中のpyannote.audio 2.0に依存しています。インストール手順を参照してください。

🚀 クイックスタート

このモデルは、音声データの話者セグメンテーションに使用できます。以下のセクションでは、具体的な使用方法を説明します。

✨ 主な機能

• 音声アクティビティ検出 (Voice Activity Detection)
• オーバーラップ音声検出 (Overlapped Speech Detection)
• 再セグメンテーション (Resegmentation)

📦 インストール

このモデルはpyannote.audio 2.0に依存しています。インストール手順を参照してください。

💻 使用例

基本的な使用法

音声アクティビティ検出

from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation="pyannote/segmentation")
HYPER_PARAMETERS = {
  # onset/offset activation thresholds
  "onset": 0.5, "offset": 0.5,
  # remove speech regions shorter than that many seconds.
  "min_duration_on": 0.0,
  # fill non-speech regions shorter than that many seconds.
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
# `vad` is a pyannote.core.Annotation instance containing speech regions

オーバーラップ音声検出

from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation="pyannote/segmentation")
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
# `osd` is a pyannote.core.Annotation instance containing overlapped speech regions

再セグメンテーション

from pyannote.audio.pipelines import Resegmentation
pipeline = Resegmentation(segmentation="pyannote/segmentation", 
                          diarization="baseline")
pipeline.instantiate(HYPER_PARAMETERS)
resegmented_baseline = pipeline({"audio": "audio.wav", "baseline": baseline})
# where `baseline` should be provided as a pyannote.core.Annotation instance

生のスコア取得

from pyannote.audio import Inference
inference = Inference("pyannote/segmentation")
segmentation = inference("audio.wav")
# `segmentation` is a pyannote.core.SlidingWindowFeature
# instance containing raw segmentation scores like the 
# one pictured above (output)

高度な使用法

再現可能な研究のために、特定のハイパーパラメータを使用することができます。

音声アクティビティ検出のハイパーパラメータ

オーバーラップ音声検出のハイパーパラメータ

VBxの再セグメンテーションのハイパーパラメータ

期待される出力（およびVBxベースライン）は、/reproducible_researchサブディレクトリにも提供されています。

📚 ドキュメント

サポート

商用のお問い合わせや科学的なコンサルティングについては、こちらまでご連絡ください。
技術的な質問やバグ報告については、pyannote.audioのGitHubリポジトリをご確認ください。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📖 引用

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\\\\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}