Phoneme Scorer V2 Wav2vec2

🚀 Wav2Vec2 LJSpeech Gruut

Wav2Vec2 LJSpeech Gruut是一個基於wav2vec 2.0架構的自動語音識別模型。該模型是Wav2Vec2-Base在LJSpech Phonemes數據集上的微調版本。它不是訓練來預測單詞序列，而是預測音素序列，例如["h", "ɛ", "l", "ˈoʊ", "w", "ˈɚ", "l", "d"]。

🚀 快速開始

Wav2Vec2 LJSpeech Gruut模型可用於自動語音識別任務，通過以下步驟，你可以快速使用該模型進行音素預測。

✨ 主要特性

• 音素預測：該模型經過訓練，能夠預測音素序列，而非傳統的單詞序列。
• 基於wav2vec 2.0架構：利用先進的wav2vec 2.0架構，提升語音識別性能。
• 微調於LJSpech Phonemes數據集：在特定的LJSpech Phonemes數據集上進行微調，更適合相關語音任務。

📦 安裝指南

文檔未提供安裝步驟，如需使用可參考Hugging Face相關庫的安裝方法。

💻 使用示例

基礎用法

from transformers import AutoProcessor, AutoModelForCTC, Wav2Vec2Processor
import librosa
import torch
from itertools import groupby
from datasets import load_dataset

def decode_phonemes(
    ids: torch.Tensor, processor: Wav2Vec2Processor, ignore_stress: bool = False
) -> str:
    """CTC-like decoding. First removes consecutive duplicates, then removes special tokens."""
    # removes consecutive duplicates
    ids = [id_ for id_, _ in groupby(ids)]

    special_token_ids = processor.tokenizer.all_special_ids + [
        processor.tokenizer.word_delimiter_token_id
    ]
    # converts id to token, skipping special tokens
    phonemes = [processor.decode(id_) for id_ in ids if id_ not in special_token_ids]

    # joins phonemes
    prediction = " ".join(phonemes)

    # whether to ignore IPA stress marks
    if ignore_stress == True:
        prediction = prediction.replace("ˈ", "").replace("ˌ", "")

    return prediction

checkpoint = "bookbot/wav2vec2-ljspeech-gruut"

model = AutoModelForCTC.from_pretrained(checkpoint)
processor = AutoProcessor.from_pretrained(checkpoint)
sr = processor.feature_extractor.sampling_rate

# load dummy dataset and read soundfiles
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
audio_array = ds[0]["audio"]["array"]

# or, read a single audio file
# audio_array, _ = librosa.load("myaudio.wav", sr=sr)

inputs = processor(audio_array, return_tensors="pt", padding=True)

with torch.no_grad():
    logits = model(inputs["input_values"]).logits

predicted_ids = torch.argmax(logits, dim=-1)
prediction = decode_phonemes(predicted_ids[0], processor, ignore_stress=True)
# => should give 'b ɪ k ʌ z j u ɚ z s l i p ɪ ŋ ɪ n s t ɛ d ə v k ɔ ŋ k ɚ ɪ ŋ ð ə l ʌ v l i ɹ z p ɹ ɪ n s ə s h æ z b ɪ k ʌ m ə v f ɪ t ə l w ɪ θ n b oʊ p ɹ ə ʃ æ ɡ i s ɪ t s ð ɛ ɹ ə k u ɪ ŋ d ʌ v'

📚 詳細文檔

模型信息

評估結果

該模型在評估中取得了以下結果：

訓練過程

訓練超參數

以下是訓練過程中使用的超參數：

• learning_rate：0.0001
• train_batch_size：16
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：2
• total_train_batch_size：32
• optimizer：Adam，betas=(0.9,0.999)，epsilon=1e-08
• lr_scheduler_type：線性
• lr_scheduler_warmup_steps：1000
• num_epochs：30.0
• mixed_precision_training：Native AMP

訓練結果

🔧 技術細節

該模型基於wav2vec 2.0架構，在LJSpech Phonemes數據集上進行微調。訓練過程使用了Hugging Face的PyTorch框架，在配備Tesla A100 GPU的Google Cloud Engine VM上完成。所有訓練所需的腳本可在文件和版本標籤中找到，訓練指標通過Tensorboard記錄，可在訓練指標查看。

📄 許可證

本項目採用Apache 2.0許可證。

免責聲明

請考慮預訓練數據集可能帶來的偏差，這些偏差可能會延續到該模型的結果中。

作者

Wav2Vec2 LJSpeech Gruut由Wilson Wongso進行訓練和評估。所有計算和開發工作均在Google Cloud上完成。

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.10.0
• Datasets 2.7.1
• Tokenizers 0.13.2
• Gruut 2.3.4