🚀 🎙️🥁🚨🔊 Brouhaha
Brouhaha是一个可以同时进行语音活动检测、信噪比和C50房间声学估计的模型。它基于多个数据集进行训练,能为音频处理相关任务提供有力支持。
简要说明 | 论文 | 代码 | 来点完全不同的

🚀 快速开始
Brouhaha模型可用于联合语音活动检测、信噪比和C50房间声学估计。下面将介绍其安装和使用方法。
✨ 主要特性
- 联合进行语音活动检测、信噪比和C50房间声学估计。
- 基于多个公开数据集进行训练,具有较好的泛化能力。
📦 安装指南
此模型依赖于 pyannote.audio 和 brouhaha-vad。可使用以下命令进行安装:
pip install pyannote-audio
pip install https://github.com/marianne-m/brouhaha-vad/archive/main.zip
💻 使用示例
基础用法
from pyannote.audio import Model
model = Model.from_pretrained("pyannote/brouhaha",
use_auth_token="ACCESS_TOKEN_GOES_HERE")
from pyannote.audio import Inference
inference = Inference(model)
output = inference("audio.wav")
for frame, (vad, snr, c50) in output:
t = frame.middle
print(f"{t:8.3f} vad={100*vad:.0f}% snr={snr:.0f} c50={c50:.0f}")
📚 详细文档
引用信息
如果您使用了该模型,请引用以下文献:
@article{lavechin2022brouhaha,
Title = {{Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation}},
Author = {Marvin Lavechin and Marianne Métais and Hadrien Titeux and Alodie Boissonnet and Jade Copet and Morgane Rivière and Elika Bergelson and Alejandrina Cristia and Emmanuel Dupoux and Hervé Bredin},
Year = {2022},
Journal = {arXiv preprint arXiv: Arxiv-2210.13248}
}
@inproceedings{Bredin2020,
Title = {{pyannote.audio: neural building blocks for speaker diarization}},
Author = {{Bredin}, Hervé and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
Address = {Barcelona, Spain},
Month = {May},
Year = {2020},
}
📄 许可证
该模型使用的许可证为OpenRAIL。
额外信息
属性 |
详情 |
标签 |
pyannote、pyannote-audio、pyannote-audio-model、audio、voice、speech、voice-activity-detection、speech-to-noise ratio、snr、room acoustics、c50 |
数据集 |
LibriSpeech、AudioSet、EchoThief、MIT-Acoustical-Reverberation-Scene |
许可证 |
OpenRAIL |
额外 gated 提示 |
收集的信息将有助于更好地了解该模型的用户群体,并帮助维护者申请资助以进一步改进它。 |
额外 gated 字段 |
公司/大学(文本)、网站(文本)、我计划将此模型用于(任务、音频数据类型等)(文本) |