Audiobox Aesthetics

🚀 音頻美學評估模型（audiobox-aesthetics）

本模型能夠對語音、音樂和聲音進行統一的自動質量評估，為音頻質量分析提供了高效且準確的解決方案，在音頻處理領域具有重要價值。

🚀 快速開始

此模型已通過 PytorchModelHubMixin 集成推送到模型中心：

• 代碼：https://github.com/facebookresearch/audiobox-aesthetics
• 論文：https://huggingface.co/papers/2502.05139

✨ 主要特性

• 實現了對語音、音樂和聲音的統一自動質量評估。
• 提供了預訓練模型，方便快速使用。
• 支持通過命令行界面（CLI）和 Python 腳本進行預測。

📦 安裝指南

通過 pip 安裝

pip install audiobox_aesthetics

從源代碼直接安裝

本倉庫需要 Python 3.9 和 Pytorch 2.2 或更高版本。安裝時，你可以克隆此倉庫並運行以下命令：

pip install -e .

📚 詳細文檔

預訓練模型

評估數據集

我們發佈了包含 4 個美學標註分數維度的評估數據集。以下展示瞭如何將每個標註映射到實際音頻文件的示例：

{
 "data_path": "/your_path/LibriTTS/train-clean-100/1363/139304/1363_139304_000011_000000.wav", 
 "Production_Quality": [8.0, 8.0, 8.0, 8.0, 8.0, 9.0, 8.0, 5.0, 8.0, 8.0], 
 "Production_Complexity": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], 
 "Content_Enjoyment": [8.0, 6.0, 8.0, 5.0, 8.0, 8.0, 8.0, 6.0, 8.0, 6.0], 
 "Content_Usefulness": [8.0, 6.0, 8.0, 7.0, 8.0, 9.0, 8.0, 6.0, 10.0, 7.0]
}

1. 從 data_path 識別數據集名稱。在示例中，為 LibriTTS。
2. 將 /your_path/ 替換為你下載的 LibriTTS 目錄。
3. 每個維度包含 10 個由 10 個不同人工標註者標註的分數。

💻 使用示例

基礎用法

通過命令行界面（CLI）進行預測

1. 創建一個 jsonl 文件，格式如下：

{"path":"/path/to/a.wav"}
{"path":"/path/to/b.flac"}
...
{"path":"/path/to/z.wav"}

或者，如果你只想從特定時間戳預測美學分數：

{"path":"/path/to/a.wav", "start_time":0, "end_time": 5}
{"path":"/path/to/b.flac", "start_time":3, "end_time": 10}

並將其保存為 input.jsonl。

2. 運行以下命令：

audio-aes input.jsonl --batch-size 100 > output.jsonl

如果你尚未下載檢查點，腳本將嘗試自動下載。否則，你可以通過 --ckpt /path/to/checkpoint.pt 提供路徑。

如果你使用 SLURM，運行以下命令：

audio-aes input.jsonl --batch-size 100 --remote --array 5 --job-dir $HOME/slurm_logs/ --chunk 1000 > output.jsonl

請根據你的節點使用 --slurm-gpu, --slurm-cpu 調整 CPU 和 GPU 設置。

3. 輸出文件將包含與 input.jsonl 相同數量的行。每行包含 4 個預測維度的 JSON 格式字典。更多信息請查看以下表格：

輸出行示例：

{"CE": 5.146, "CU": 5.779, "PC": 2.148, "PQ": 7.220}

4. （可選）如果你只想提取一個維度（例如 CE），可以使用 jq 工具對輸出文件進行後處理： jq '.CE' output.jsonl > output-aes_ce.txt

從 Python 腳本或解釋器進行預測

從文件路徑進行推理

from audiobox_aesthetics.infer import initialize_predictor
predictor = initialize_predictor()
predictor.forward([{"path":"/path/to/a.wav"}, {"path":"/path/to/b.flac"}])

從 torch 張量進行推理

import torchaudio
from audiobox_aesthetics.infer import initialize_predictor
predictor = initialize_predictor()
wav, sr = torchaudio.load("/path/to/a.wav")
predictor.forward([{"path":wav, "sample_rate": sr}])

📄 許可證

audiobox-aesthetics 項目的大部分內容遵循 CC-BY 4.0 許可證，如 LICENSE 文件所示。然而，項目的部分內容遵循單獨的許可證條款：https://github.com/microsoft/unilm 遵循 MIT 許可證。

📚 引用

如果你發現此倉庫有用，請引用以下 BibTeX 條目：

@article{tjandra2025aes,
    title={Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound},
    author={Andros Tjandra and Yi-Chiao Wu and Baishan Guo and John Hoffman and Brian Ellis and Apoorv Vyas and Bowen Shi and Sanyuan Chen and Matt Le and Nick Zacharov and Carleigh Wood and Ann Lee and Wei-Ning Hsu},
    year={2025},
    url={https://arxiv.org/abs/2502.05139}
}

🙏 致謝

部分模型代碼借鑑自 https://github.com/microsoft/unilm/tree/master/wavlm。