Bp500 Xlsr

🚀 bp500-xlsr：基於巴西葡萄牙語（BP）數據集的Wav2vec 2.0模型

這是一個針對巴西葡萄牙語進行微調的Wav2vec模型的演示，該模型使用了以下數據集：

• CETUC：包含約145小時的巴西葡萄牙語語音，分佈在50名男性和50名女性說話者中，每人朗讀約1000個從CETEN - Folha語料庫中選取的語音平衡句子。
• Common Voice 7.0：這是Mozilla基金會發起的一個項目，旨在創建多種語言的開放數據集。在這個項目中，志願者通過官方網站捐贈並驗證語音數據。
• Lapsbm：“Falabrasil - UFPA”是Fala Brasil團隊用於對巴西葡萄牙語自動語音識別（ASR）系統進行基準測試的數據集。包含35名說話者（其中10名女性），每人朗讀20個獨特的句子，總共700條巴西葡萄牙語語音。音頻在22.05 kHz下錄製，未進行環境控制。
• 多語言Librispeech（MLS）：一個多語言的大規模數據集。MLS基於LibriVox等公共領域的有聲讀物錄音。該數據集包含多種語言的總計6000小時轉錄數據。本工作中使用的葡萄牙語數據集（主要是巴西變體）約有284小時的語音，來自62名說話者朗讀的55本有聲讀物。
• VoxForge：一個旨在構建聲學模型開放數據集的項目。該語料庫包含約100名說話者和4130條巴西葡萄牙語語音，採樣率從16kHz到44.1kHz不等。

這些數據集被合併以構建一個更大的巴西葡萄牙語數據集。除了Common Voice的開發集和測試集分別用於驗證和測試外，所有數據都用於訓練。我們還為所有收集的數據集製作了測試集。

原始模型使用fairseq進行微調。本筆記本使用的是原始模型的轉換版本。原始fairseq模型的鏈接可[點擊此處獲取](https://drive.google.com/file/d/1J8aR1ltDLQFe - dVrGuyxoRm2uyJjCWgf/view?usp=sharing)。

結果總結

轉錄示例

🚀 快速開始

運行環境準備

MODEL_NAME = "lgris/bp500-xlsr" 

導入依賴庫

%%capture
!pip install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio===0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html
!pip install datasets
!pip install jiwer
!pip install transformers
!pip install soundfile
!pip install pyctcdecode
!pip install https://github.com/kpu/kenlm/archive/master.zip

import jiwer
import torchaudio
from datasets import load_dataset, load_metric
from transformers import (
    Wav2Vec2ForCTC,
    Wav2Vec2Processor,
)
from pyctcdecode import build_ctcdecoder
import torch
import re
import sys

輔助函數定義

chars_to_ignore_regex = '[\,\?\.\!\;\:\"]'  # noqa: W605

def map_to_array(batch):
    speech, _ = torchaudio.load(batch["path"])
    batch["speech"] = speech.squeeze(0).numpy() 
    batch["sampling_rate"] = 16_000 
    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"]).lower().replace("’", "'")
    batch["target"] = batch["sentence"]
    return batch

def calc_metrics(truths, hypos):
    wers = []
    mers = []
    wils = []
    for t, h in zip(truths, hypos):
        try:
            wers.append(jiwer.wer(t, h))
            mers.append(jiwer.mer(t, h))
            wils.append(jiwer.wil(t, h))
        except: # 空字符串情況
            pass
    wer = sum(wers)/len(wers)
    mer = sum(mers)/len(mers)
    wil = sum(wils)/len(wils)
    return wer, mer, wil

def load_data(dataset):
    data_files = {'test': f'{dataset}/test.csv'}
    dataset = load_dataset('csv', data_files=data_files)["test"]
    return dataset.map(map_to_array)

模型定義

class STT:

    def __init__(self, 
                 model_name, 
                 device='cuda' if torch.cuda.is_available() else 'cpu', 
                 lm=None):
        self.model_name = model_name
        self.model = Wav2Vec2ForCTC.from_pretrained(model_name).to(device)
        self.processor = Wav2Vec2Processor.from_pretrained(model_name)
        self.vocab_dict = self.processor.tokenizer.get_vocab()
        self.sorted_dict = {
            k.lower(): v for k, v in sorted(self.vocab_dict.items(), 
                                            key=lambda item: item[1])
        }
        self.device = device
        self.lm = lm
        if self.lm:            
            self.lm_decoder = build_ctcdecoder(
                list(self.sorted_dict.keys()),
                self.lm
            )

    def batch_predict(self, batch):
        features = self.processor(batch["speech"], 
                                  sampling_rate=batch["sampling_rate"][0], 
                                  padding=True, 
                                  return_tensors="pt")
        input_values = features.input_values.to(self.device)
        attention_mask = features.attention_mask.to(self.device)
        with torch.no_grad():
            logits = self.model(input_values, attention_mask=attention_mask).logits
        if self.lm:
            logits = logits.cpu().numpy()
            batch["predicted"] = []
            for sample_logits in logits:
                batch["predicted"].append(self.lm_decoder.decode(sample_logits))
        else:
            pred_ids = torch.argmax(logits, dim=-1)
            batch["predicted"] = self.processor.batch_decode(pred_ids)
        return batch

下載數據集

%%capture
!gdown --id 1HFECzIizf-bmkQRLiQD0QVqcGtOG5upI
!mkdir bp_dataset
!unzip bp_dataset -d bp_dataset/

%cd bp_dataset 

測試

stt = STT(MODEL_NAME)

CETUC數據集測試

ds = load_data('cetuc_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("CETUC WER:", wer)

Common Voice數據集測試

ds = load_data('commonvoice_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("CV WER:", wer)

LaPS數據集測試

ds = load_data('lapsbm_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("Laps WER:", wer)

MLS數據集測試

ds = load_data('mls_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("MLS WER:", wer)

SID數據集測試

ds = load_data('sid_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("Sid WER:", wer)

TEDx數據集測試

ds = load_data('tedx_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("TEDx WER:", wer)

VoxForge數據集測試

ds = load_data('voxforge_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("VoxForge WER:", wer)

使用語言模型（LM）進行測試

!rm -rf ~/.cache
!gdown --id 1GJIKseP5ZkTbllQVgOL98R4yYAcIySFP  # 使用維基百科訓練的模型
stt = STT(MODEL_NAME, lm='pt-BR-wiki.word.4-gram.arpa')
# !gdown --id 1dLFldy7eguPtyJj5OAlI4Emnx0BpFywg  # 使用巴西葡萄牙語訓練的模型
# stt = STT(MODEL_NAME, lm='pt-BR.word.4-gram.arpa')

使用語言模型後CETUC數據集測試

ds = load_data('cetuc_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("CETUC WER:", wer)

使用語言模型後Common Voice數據集測試

ds = load_data('commonvoice_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("CV WER:", wer)

使用語言模型後LaPS數據集測試

ds = load_data('lapsbm_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("Laps WER:", wer)

使用語言模型後MLS數據集測試

ds = load_data('mls_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("MLS WER:", wer)

使用語言模型後SID數據集測試

ds = load_data('sid_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("Sid WER:", wer)

使用語言模型後TEDx數據集測試

ds = load_data('tedx_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("TEDx WER:", wer)

使用語言模型後VoxForge數據集測試

ds = load_data('voxforge_dataset')
result = ds.map(stt.batch_predict, batched=True, batch_size=8) 
wer, mer, wil = calc_metrics(result["sentence"], result["predicted"])
print("VoxForge WER:", wer)

📄 許可證

本項目採用Apache 2.0許可證。