Brouhaha

🚀 🎙️🥁🚨🔊 Brouhaha

Brouhaha是一個可以同時進行語音活動檢測、信噪比和C50房間聲學估計的模型。它基於多個數據集進行訓練，能為音頻處理相關任務提供有力支持。

簡要說明 | 論文 | 代碼 | 來點完全不同的

🚀 快速開始

Brouhaha模型可用於聯合語音活動檢測、信噪比和C50房間聲學估計。下面將介紹其安裝和使用方法。

✨ 主要特性

• 聯合進行語音活動檢測、信噪比和C50房間聲學估計。
• 基於多個公開數據集進行訓練，具有較好的泛化能力。

📦 安裝指南

此模型依賴於 pyannote.audio 和 brouhaha-vad。可使用以下命令進行安裝：

pip install pyannote-audio
pip install https://github.com/marianne-m/brouhaha-vad/archive/main.zip

💻 使用示例

基礎用法

# 1. 訪問 hf.co/pyannote/brouhaha 並接受用戶使用條件
# 2. 訪問 hf.co/settings/tokens 創建訪問令牌
# 3. 實例化預訓練模型
from pyannote.audio import Model
model = Model.from_pretrained("pyannote/brouhaha", 
                              use_auth_token="ACCESS_TOKEN_GOES_HERE")

# 應用模型 
from pyannote.audio import Inference
inference = Inference(model)
output = inference("audio.wav")

# 遍歷每一幀
for frame, (vad, snr, c50) in output:
    t = frame.middle
    print(f"{t:8.3f} vad={100*vad:.0f}% snr={snr:.0f} c50={c50:.0f}")

#  ...
# 12.952 vad=100% snr=51 c50=17
# 12.968 vad=100% snr=52 c50=17
# 12.985 vad=100% snr=53 c50=17
# ...

📚 詳細文檔

引用信息

如果您使用了該模型，請引用以下文獻：

@article{lavechin2022brouhaha,
  Title   = {{Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation}},
  Author  = {Marvin Lavechin and Marianne Métais and Hadrien Titeux and Alodie Boissonnet and Jade Copet and Morgane Rivière and Elika Bergelson and Alejandrina Cristia and Emmanuel Dupoux and Hervé Bredin},
  Year    = {2022},
  Journal = {arXiv preprint arXiv: Arxiv-2210.13248}
}

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Hervé and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}

📄 許可證

該模型使用的許可證為OpenRAIL。

額外信息