Whisper Large V3 Broad Accent

🚀 用於廣泛口音分類的Whisper-Large模型

本模型用於廣泛的口音分類，能有效解決不同英語口音識別的問題，為語音處理和分析提供了強大的工具，具有較高的實用價值。

🚀 快速開始

下載倉庫

git clone git@github.com:tiantiaf0627/vox-profile-release.git

安裝依賴包

conda create -n vox_profile python=3.8
cd vox-profile-release
pip install -e .

加載模型

# 加載庫
import torch
import torch.nn.functional as F
from src.model.accent.whisper_accent import WhisperWrapper

# 確定設備
device = torch.device("cuda") if torch.cuda.is_available() else "cpu"

# 從Huggingface加載模型
model = WhisperWrapper.from_pretrained("tiantiaf/whisper-large-v3-broad-accent").to(device)
model.eval()

進行預測

# 標籤列表
english_accent_list = [
    'British Isles', 'North America', 'Other'
]
    
# 加載數據，這裡以零向量為例
# 我們的訓練數據過濾掉了時長小於3秒（預測不可靠）和大於15秒（計算限制）的音頻
# 因此你需要將音頻準備為最長15秒、16kHz且單聲道的格式
max_audio_length = 15 * 16000
data = torch.zeros([1, 16000]).float().to(device)[:, :max_audio_length]
logits, embeddings = model(data, return_feature=True)
    
# 計算概率並輸出結果
accent_prob = F.softmax(logits, dim=1)
print(english_accent_list[torch.argmax(accent_prob).detach().cpu().item()])

✨ 主要特性

本模型實現了在論文《Vox-Profile: A Speech Foundation Model Benchmark for Characterizing Diverse Speaker and Speech Traits》(https://arxiv.org/pdf/2505.14648) 中描述的更廣泛的口音分類。包含的英語口音有：

['British Isles', 'North America', 'Other']

相關庫鏈接：https://github.com/tiantiaf0627/vox-profile-release

📄 許可證

本項目採用BSD 3條款許可證（BSD-3-Clause）。

💡 聯繫信息

如果您有任何問題，請聯繫：Tiantian Feng (tiantiaf@usc.edu)