Phoneme Scorer V2 Wav2vec2

🚀 Wav2Vec2 LJSpeech Gruut

Wav2Vec2 LJSpeech Gruutは、wav2vec 2.0アーキテクチャに基づく自動音声認識モデルです。このモデルは、Wav2Vec2-BaseをLJSpech Phonemesデータセットでファインチューニングしたバージョンです。

このモデルは、単語のシーケンスを予測するように訓練されるのではなく、音素のシーケンス（例：["h", "ɛ", "l", "ˈoʊ", "w", "ˈɚ", "l", "d"]）を予測するように訓練されています。したがって、このモデルの語彙には、gruutに含まれるさまざまなIPA音素が含まれています。

このモデルは、HuggingFaceのPyTorchフレームワークを使用して訓練されました。すべての訓練は、Tesla A100 GPUを搭載したGoogle Cloud Engine VMで行われました。訓練に使用されたすべての必要なスクリプトは、Files and versionsタブとTraining metricsに記録されています。

🚀 クイックスタート

このモデルは自動音声認識に使用できます。以下の使用例を参考に、音声データから音素シーケンスを予測できます。

✨ 主な機能

• wav2vec 2.0アーキテクチャに基づいた自動音声認識。
• 音素シーケンスを予測するように訓練されている。
• LJSpech Phonemesデータセットでファインチューニングされている。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、必要なライブラリをインストールできます。

pip install transformers librosa datasets torch

💻 使用例

基本的な使用法

from transformers import AutoProcessor, AutoModelForCTC, Wav2Vec2Processor
import librosa
import torch
from itertools import groupby
from datasets import load_dataset

def decode_phonemes(
    ids: torch.Tensor, processor: Wav2Vec2Processor, ignore_stress: bool = False
) -> str:
    """CTC-like decoding. First removes consecutive duplicates, then removes special tokens."""
    # removes consecutive duplicates
    ids = [id_ for id_, _ in groupby(ids)]

    special_token_ids = processor.tokenizer.all_special_ids + [
        processor.tokenizer.word_delimiter_token_id
    ]
    # converts id to token, skipping special tokens
    phonemes = [processor.decode(id_) for id_ in ids if id_ not in special_token_ids]

    # joins phonemes
    prediction = " ".join(phonemes)

    # whether to ignore IPA stress marks
    if ignore_stress == True:
        prediction = prediction.replace("ˈ", "").replace("ˌ", "")

    return prediction

checkpoint = "bookbot/wav2vec2-ljspeech-gruut"

model = AutoModelForCTC.from_pretrained(checkpoint)
processor = AutoProcessor.from_pretrained(checkpoint)
sr = processor.feature_extractor.sampling_rate

# load dummy dataset and read soundfiles
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
audio_array = ds[0]["audio"]["array"]

# or, read a single audio file
# audio_array, _ = librosa.load("myaudio.wav", sr=sr)

inputs = processor(audio_array, return_tensors="pt", padding=True)

with torch.no_grad():
    logits = model(inputs["input_values"]).logits

predicted_ids = torch.argmax(logits, dim=-1)
prediction = decode_phonemes(predicted_ids[0], processor, ignore_stress=True)
# => should give 'b ɪ k ʌ z j u ɚ z s l i p ɪ ŋ ɪ n s t ɛ d ə v k ɔ ŋ k ɚ ɪ ŋ ð ə l ʌ v l i ɹ z p ɹ ɪ n s ə s h æ z b ɪ k ʌ m ə v f ɪ t ə l w ɪ θ n b oʊ p ɹ ə ʃ æ ɡ i s ɪ t s ð ɛ ɹ ə k u ɪ ŋ d ʌ v'

📚 ドキュメント

モデル情報

評価結果

このモデルは、以下の評価結果を達成しています。

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0001
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam (betas=(0.9,0.999), epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1000
• num_epochs: 30.0
• mixed_precision_training: Native AMP

訓練結果

🔧 技術詳細

このモデルは、wav2vec 2.0アーキテクチャに基づいており、音素シーケンスを予測するように訓練されています。訓練には、HuggingFaceのPyTorchフレームワークが使用されています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

免責事項

このモデルの結果には、事前訓練データセットに由来するバイアスが含まれる可能性があることに留意してください。

作者

Wav2Vec2 LJSpeech Gruutは、Wilson Wongsoによって訓練および評価されました。すべての計算と開発はGoogle Cloud上で行われています。

フレームワークバージョン

• Transformers 4.26.0.dev0
• Pytorch 1.10.0
• Datasets 2.7.1
• Tokenizers 0.13.2
• Gruut 2.3.4