Whisper Large V3 Broad Accent

🚀 Whisper-Large for Broad Accent Classification

このモデルは、幅広いアクセント分類を実装したもので、多様な話者や音声の特徴を評価するための音声基礎モデルベンチマークであるVox-Profileに記載されています。(https://arxiv.org/pdf/2505.14648)

✨ 主な機能

• 英語のアクセントを分類する機能があり、対象のアクセントは以下の通りです。

  ['British Isles', 'North America', 'Other']
  

• 関連ライブラリはこちら: https://github.com/tiantiaf0627/vox-profile-release

📦 インストール

リポジトリのダウンロード

git clone git@github.com:tiantiaf0627/vox-profile-release.git

パッケージのインストール

conda create -n vox_profile python=3.8
cd vox-profile-release
pip install -e .

💻 使用例

基本的な使用法

モデルの読み込み

# Load libraries
import torch
import torch.nn.functional as F
from src.model.accent.whisper_accent import WhisperWrapper

# Find device
device = torch.device("cuda") if torch.cuda.is_available() else "cpu"

# Load model from Huggingface
model = WhisperWrapper.from_pretrained("tiantiaf/whisper-large-v3-broad-accent").to(device)
model.eval()

予測

# Label List
english_accent_list = [
    'British Isles', 'North America', 'Other'
]
    
# Load data, here just zeros as the example
# Our training data filters output audio shorter than 3 seconds (unreliable predictions) and longer than 15 seconds (computation limitation)
# So you need to prepare your audio to a maximum of 15 seconds, 16kHz and mono channel
max_audio_length = 15 * 16000
data = torch.zeros([1, 16000]).float().to(device)[:, :max_audio_length]
logits, embeddings = model(data, return_feature=True)
    
# Probability and output
accent_prob = F.softmax(logits, dim=1)
print(english_accent_list[torch.argmax(accent_prob).detach().cpu().item()])

📄 ライセンス

このモデルはBSD 3条項ライセンス (bsd-3-clause) の下で提供されています。

お問い合わせ

ご質問がある場合は、Tiantian Feng (tiantiaf@usc.edu) までお問い合わせください。