Wav2vec2 Animal Sounds Finetuned Hubert Finetuned Animals

🚀 hubert-finetuned-animals

hubert-finetuned-animals 是 facebook/hubert-base-ls960 的微調版本，專門用於動物聲音分類任務。它能識別 ESC - 50 數據集中特定動物的聲音，在生物聲學監測、教育工具和野生動物保護等領域有重要應用價值。

🚀 快速開始

你可以在這裡試用該模型： 動物聲音分類空間

✨ 主要特性

• 精準分類：在評估集上實現了 0.95 的準確率，能有效識別多種動物聲音。
• 應用廣泛：可用於野生動物研究、動物教育內容或娛樂等需要動物聲音識別的軟件應用。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

import librosa
import torch
from transformers import HubertForSequenceClassification, Wav2Vec2FeatureExtractor

# Load the fine-tuned model and feature extractor
model_name = "ardneebwar/wav2vec2-animal-sounds-finetuned-hubert-finetuned-animals"
feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained(model_name)
model = HubertForSequenceClassification.from_pretrained(model_name)

# Prepare the device
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()  # Set the model to evaluation mode

# Function to predict the class of an audio file
def predict_audio_class(audio_file, feature_extractor, model, device):
    # Load and preprocess the audio file
    speech, sr = librosa.load(audio_file, sr=16000)
    input_values = feature_extractor(speech, return_tensors="pt", sampling_rate=16000).input_values
    input_values = input_values.to(device)

    # Predict
    with torch.no_grad():
        logits = model(input_values).logits

    # Get the predicted class ID
    predicted_id = torch.argmax(logits, dim=-1)
    # Convert the predicted ID to the class name
    predicted_class = model.config.id2label[predicted_id.item()]
    
    return predicted_class

# Replace 'path_to_your_new_audio_file.wav' with the actual path to the new audio file
audio_file_path = "path_to_audio_file.wav"
predicted_class = predict_audio_class(audio_file_path, feature_extractor, model, device)
print(f"Predicted class: {predicted_class}")

📚 詳細文檔

模型描述

HuBERT 模型最初在大量未標記的音頻數據上進行訓練，這裡針對動物聲音分類的下游任務進行了微調。這種微調使模型能夠專門識別不同的動物聲音，如狗、公雞、豬、牛、青蛙、貓、母雞、昆蟲、綿羊和烏鴉的聲音，這在生物聲學監測、教育工具和更具互動性的野生動物保護工作等應用中特別有用。

預期用途和限制

預期用途

該模型旨在對音頻片段中的特定動物聲音進行分類。它可用於與野生動物研究相關的軟件應用、與動物相關的教育內容，或用於需要動物聲音識別的娛樂目的。

限制

雖然該模型顯示出較高的準確率，但它是在 ESC - 50 數據集的有限類別上進行訓練的，可能無法涵蓋所有可能的動物聲音。其性能會因音頻質量、背景噪音以及訓練數據中未涵蓋的動物聲音變化而有顯著差異。

訓練和評估數據

該模型在 ESC - 50 數據集的一個子集上進行了微調，這是一個為環境聲音分類任務設計的公開可用的集合。這個子集專門只包括與動物聲音相關的類別。數據集中的每個類別包含 40 個示例，為模型訓練和評估提供了多樣化的樣本。

訓練過程

訓練步驟

1. 預處理：將音頻文件轉換為頻譜圖。
2. 數據劃分：將數據劃分為 70% 的訓練集、20% 的測試集和 10% 的驗證集。
3. 微調：在訓練集上對模型進行 10 個週期的微調。
4. 評估：在每個週期後在驗證集上評估模型的性能，以監測改進並防止過擬合。

訓練超參數

訓練結果

框架版本

• Transformers 4.33.2
• Pytorch 2.0.1+cu118
• Datasets 2.14.5
• Tokenizers 0.13.3

GitHub 倉庫

動物聲音分類

🔧 技術細節

該模型基於 HuBERT 架構，通過對 ESC - 50 數據集子集的微調，使其能夠專注於動物聲音的分類。在訓練過程中，使用了一系列的預處理和優化步驟，如將音頻轉換為頻譜圖、合理劃分數據集、設置合適的超參數等，以提高模型的性能和泛化能力。同時，在每個訓練週期後對模型進行驗證評估，有助於防止過擬合，確保模型在不同的音頻數據上都能有較好的表現。

📄 許可證

本模型採用 Apache - 2.0 許可證。