Dasheng Base

🚀 大声：大規模汎用音声エンコーダ

Dasheng（Deep Audio-Signal Holistic Embeddings）、または「大声」（「素晴らしい音」）は、大規模な自己教師付き学習タスクで学習された汎用音声エンコーダです。Dashengは、音声、音楽、環境音など、様々なドメインの豊富な音声情報を捉えるように設計されています。このモデルは、272,356時間の多様な音声データで学習され、12億個のパラメータを持ち、HEARベンチマークで大幅な性能向上を示しています。Dashengは、CREMA-D、LibriCount、Speech Commands、VoxLinguaなどのタスクで先行研究を上回り、音楽や環境音の分類タスクでも良好な結果を示しています。

オリジナルのリポジトリ: https://github.com/RicherMans/Dasheng

🚀 クイックスタート

📦 インストール

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_dasheng.git

💻 使用例

基本的な使用法

>>> model_name = "mispeech/dasheng-base"

>>> from dasheng_model.feature_extraction_dasheng import DashengFeatureExtractor
>>> from dasheng_model.modeling_dasheng import DashengModel

>>> feature_extractor = DashengFeatureExtractor.from_pretrained(model_name)
>>> model = DashengModel.from_pretrained(model_name, outputdim=None)  # no linear output layer if `outputdim` is `None`

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> audio.shape
torch.Size([1, 16000])   # mono audio of 1 second

>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")
>>> inputs.input_values.shape
torch.Size([1, 64, 101])   # 64 mel-filterbanks, 101 frames

>>> import torch
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> outputs.hidden_states.shape
torch.Size([1, 25, 768])   # 25 T-F patches (patch size 64x4, no overlap), before mean-pooling

>>> outputs.logits.shape
torch.Size([1, 768])   # mean-pooled embedding (would be logits from a linear layer if `outputdim` was set)

高度な使用法

ESC-50データセットで線形ヘッドを学習する方法を示します。

# このコードは、ESC-50データセットでDashengエンコーダを固定して線形ヘッドを学習する例です。
# 詳細はColabノートブックを参照してください。

example_finetune_esc50.ipynb は、Dashengエンコーダを固定してESC-50データセットで線形ヘッドを学習する方法を示しています。

📚 ドキュメント

引用

もしあなたの研究でDashengが役立った場合、以下の論文を引用してください。

@inproceedings{dinkel2023scaling,
  title={Scaling up masked audio encoder learning for general audio classification},
  author={Dinkel, Heinrich and Yan, Zhiyong and Wang, Yongqing and Zhang, Junbo and Wang, Yujun and Wang, Bin},
  booktitle={Interspeech 2024},
  year={2024}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。