🚀 "Powerset"話者セグメンテーション
このオープンソースモデルは、16kHzでサンプリングされた10秒間のモノラルオーディオを入力として受け取り、話者分離を (num_frames, num_classes) 行列として出力します。ここでの7つのクラスは、非発話、話者 #1、話者 #2、話者 #3、話者 #1 と #2、話者 #1 と #3、および 話者 #2 と #3 です。このモデルを本番環境で使用する場合は、pyannoteAI への切り替えを検討してください。これにより、より良い、かつ高速なオプションを利用できます。

🚀 クイックスタート
このモデルを使用するには、以下の手順に従ってください。
✨ 主な機能
- 16kHzでサンプリングされた10秒間のモノラルオーディオを入力として受け取り、話者分離を出力します。
- 7つのクラスをサポートしており、非発話や複数話者の重複発話などを識別できます。
📦 インストール
pip install pyannote.audio
を実行して、pyannote.audio
3.0
をインストールします。
pyannote/segmentation-3.0
のユーザー条件を受け入れます。
hf.co/settings/tokens
でアクセストークンを作成します。
💻 使用例
基本的な使用法
duration, sample_rate, num_channels = 10, 16000, 1
waveform = torch.randn(batch_size, num_channels, duration * sample_rate)
powerset_encoding = model(waveform)
from pyannote.audio.utils.powerset import Powerset
max_speakers_per_chunk, max_speakers_per_frame = 3, 2
to_multilabel = Powerset(
max_speakers_per_chunk,
max_speakers_per_frame).to_multilabel
multilabel_encoding = to_multilabel(powerset_encoding)
高度な使用法
話者分離
このモデルは、それ単独では全録音の話者分離を行うことはできません(10秒のチャンクのみを処理します)。全録音の話者分離を行うには、追加の話者埋め込みモデルを使用する pyannote/speaker-diarization-3.0 パイプラインを参照してください。
音声活動検出
from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation=model)
HYPER_PARAMETERS = {
"min_duration_on": 0.0,
"min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
vad = pipeline("audio.wav")
重複話者検出
from pyannote.audio.pipelines import OverlappedSpeechDetection
pipeline = OverlappedSpeechDetection(segmentation=model)
HYPER_PARAMETERS = {
"min_duration_on": 0.0,
"min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
osd = pipeline("audio.wav")
📚 ドキュメント
このモデルの背後にある様々な概念については、この 論文 で詳細に説明されています。また、Alexis Plaquet による この関連リポジトリ では、独自のデータでこのようなモデルをトレーニングまたは微調整する方法についての説明も提供されています。
📄 ライセンス
このモデルはMITライセンスの下で公開されています。
🔖 引用
@inproceedings{Plaquet23,
author={Alexis Plaquet and Hervé Bredin},
title={{Powerset multi-class cross entropy loss for neural speaker diarization}},
year=2023,
booktitle={Proc. INTERSPEECH 2023},
}
@inproceedings{Bredin23,
author={Hervé Bredin},
title={{pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe}},
year=2023,
booktitle={Proc. INTERSPEECH 2023},
}
⚠️ 重要提示
収集された情報は、pyannote.audioのユーザーベースに関するより良い知識を獲得し、そのメンテナがさらに改善するのに役立ちます。このモデルはMITライセンスを使用し、常にオープンソースのままですが、pyannoteに関するプレミアムモデルや有料サービスについて、時折メールでお知らせすることがあります。
属性 |
详情 |
モデルタイプ |
"Powerset"話者セグメンテーションモデル |
トレーニングデータ |
AISHELL、AliMeeting、AMI、AVA - AVD、DIHARD、Ego4D、MSDWild、REPERE、およびVoxConverseのトレーニングセットの組み合わせ |