Segmentation

🚀 話者セグメンテーション

このオープンソースモデルは、音声データにおける話者のセグメンテーションを行うためのものです。音声活動検出、重複話者検出、再セグメンテーションなどの機能を提供します。

🚀 クイックスタート

本番環境でこのオープンソースモデルを使用していますか？ より良く、より速いオプションを求めるなら、pyannoteAI への切り替えを検討してください。

✨ 主な機能

• 話者セグメンテーション
• 音声活動検出
• 重複話者検出
• 再セグメンテーション

📦 インストール

このモデルは pyannote.audio 2.1.1 に依存しています。インストール手順を参照してください。

💻 使用例

基本的な使用法

# 1. hf.co/pyannote/segmentation にアクセスし、ユーザー条件を受け入れる
# 2. hf.co/settings/tokens にアクセスし、アクセストークンを作成する
# 3. 事前学習済みモデルをインスタンス化する
from pyannote.audio import Model
model = Model.from_pretrained("pyannote/segmentation", 
                              use_auth_token="ACCESS_TOKEN_GOES_HERE")

高度な使用法

音声活動検出

from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation=model)
HYPER_PARAMETERS = {
  # onset/offset アクティベーション閾値
  "onset": 0.5, "offset": 0.5,
  # これより短い音声領域を削除する
  "min_duration_on": 0.0,
  # これより短い非音声領域を埋める
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
# `vad` は音声領域を含む pyannote.core.Annotation インスタンスです

重複話者検出

from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation=model)
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
# `osd` は重複話者領域を含む pyannote.core.Annotation インスタンスです

再セグメンテーション

from pyannote.audio.pipelines import Resegmentation
pipeline = Resegmentation(segmentation=model, 
                          diarization="baseline")
pipeline.instantiate(HYPER_PARAMETERS)
resegmented_baseline = pipeline({"audio": "audio.wav", "baseline": baseline})
# `baseline` は pyannote.core.Annotation インスタンスとして提供する必要があります

生のスコア取得

from pyannote.audio import Inference
inference = Inference(model)
segmentation = inference("audio.wav")
# `segmentation` は生のセグメンテーションスコアを含む pyannote.core.SlidingWindowFeature インスタンスです

📚 ドキュメント

• 論文
• デモ
• ブログ記事

🔧 技術詳細

論文 "End-to-end speaker segmentation for overlap-aware resegmentation" の結果を再現するには、以下のハイパーパラメータで pyannote/segmentation@Interspeech2021 を使用します。

予想される出力（および VBx ベースライン）は、/reproducible_research サブディレクトリにも提供されています。

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

引用

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},
}

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}