Phil Pyannote Speaker Diarization Endpoint

🚀 話者分離

このプロジェクトは、音声データ内の話者を識別し、各話者の発話区間を特定する話者分離機能を提供します。pyannote.audio 2.0に依存しており、高精度かつ効率的な話者分離を実現します。

🚀 クイックスタート

このパイプラインは pyannote.audio 2.0に依存しています。インストール手順 を参照してください。

💻 使用例

基本的な使用法

# load the pipeline from Hugginface Hub
from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization@2022.07")

# apply the pipeline to an audio file
diarization = pipeline("audio.wav")

# dump the diarization output to disk using RTTM format
with open("audio.rttm", "w") as rttm:
    diarization.write_rttm(rttm)

高度な使用法

話者の数が事前にわかっている場合は、num_speakers オプションを使用できます。

diarization = pipeline("audio.wav", num_speakers=2)

また、min_speakers と max_speakers オプションを使用して、話者の数の下限と/または上限を指定することもできます。

diarization = pipeline("audio.wav", min_speakers=2, max_speakers=5)

もし冒険的な方であれば、パイプラインの様々なハイパーパラメータを試してみることができます。
例えば、segmentation_onset 閾値の値を増やすことで、より積極的な音声活動検出を行うことができます。

hparams = pipeline.parameters(instantiated=True)
hparams["segmentation_onset"] += 0.1
pipeline.instantiate(hparams)

📚 ドキュメント

ベンチマーク

リアルタイム係数

1つのNvidia Tesla V100 SXM2 GPU（ニューラル推論部分）と1つのIntel Cascade Lake 6248 CPU（クラスタリング部分）を使用すると、リアルタイム係数は約5％です。

言い換えると、1時間の会話を処理するのに約3分かかります。

精度

このパイプラインは、増え続けるデータセットのコレクションでベンチマークされています。

処理は完全に自動化されています。

• 手動による音声活動検出は行われません（文献では時々行われることがあります）
• 話者の数を手動で指定する必要はありません（ただし、パイプラインに指定することも可能です）
• 内部モデルの微調整やパイプラインのハイパーパラメータの調整は、各データセットに対して行われません

... 最も厳格な話者分離誤差率（DER）設定（この論文 で "Full" と呼ばれています）です。

• 許容範囲はありません
• 重複する音声の評価

サポート

商用のお問い合わせや科学的なコンサルティングについては、こちら までご連絡ください。
技術的な質問 や バグレポート については、pyannote.audio のGitHubリポジトリをご確認ください。

引用

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},
}

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。