Dasheng Base

🚀 大聲（Dasheng）：大規模通用音頻編碼器

大聲（Dasheng，即Deep Audio-Signal Holistic Embeddings），或者“大聲”（中文意為“great sound”），是一個在大規模自監督學習任務上訓練的通用音頻編碼器。大聲旨在捕捉包括語音、音樂和環境聲音等各個領域的豐富音頻信息。該模型在272,356小時的多樣化音頻數據上進行訓練，擁有12億個參數，並在HEAR基準測試中展現出顯著的性能提升。在CREMA - D、LibriCount、語音指令、VoxLingua等任務中，大聲超越了以往的工作成果，並且在音樂和環境聲音分類任務中也表現出色。

原始倉庫：https://github.com/RicherMans/Dasheng

🚀 快速開始

✨ 主要特性

• 通用音頻編碼：能夠捕捉語音、音樂和環境聲音等多領域的豐富音頻信息。
• 大規模訓練：在272,356小時的多樣化音頻數據上訓練，擁有12億個參數。
• 性能優越：在HEAR基準測試中表現出色，在多個音頻分類任務中超越以往工作。

📦 安裝指南

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_dasheng.git

💻 使用示例

基礎用法

>>> model_name = "mispeech/dasheng-base"

>>> from dasheng_model.feature_extraction_dasheng import DashengFeatureExtractor
>>> from dasheng_model.modeling_dasheng import DashengModel

>>> feature_extractor = DashengFeatureExtractor.from_pretrained(model_name)
>>> model = DashengModel.from_pretrained(model_name, outputdim=None)  # no linear output layer if `outputdim` is `None`

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> audio.shape
torch.Size([1, 16000])   # mono audio of 1 second

>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")
>>> inputs.input_values.shape
torch.Size([1, 64, 101])   # 64 mel-filterbanks, 101 frames

>>> import torch
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> outputs.hidden_states.shape
torch.Size([1, 25, 768])   # 25 T-F patches (patch size 64x4, no overlap), before mean-pooling

>>> outputs.logits.shape
torch.Size([1, 768])   # mean-pooled embedding (would be logits from a linear layer if `outputdim` was set)

高級用法

點擊下面的鏈接在Colab中打開微調示例：

example_finetune_esc50.ipynb展示瞭如何在ESC - 50數據集上凍結大聲編碼器並訓練一個線性頭部。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 詳細文檔

如果您在研究中發現大聲模型很有用，請考慮引用以下論文：

@inproceedings{dinkel2023scaling,
  title={Scaling up masked audio encoder learning for general audio classification},
  author={Dinkel, Heinrich and Yan, Zhiyong and Wang, Yongqing and Zhang, Junbo and Wang, Yujun and Wang, Bin},
  booktitle={Interspeech 2024},
  year={2024}
}