Sew D Base Plus 400k Ft Ls100h

🚀 SEW-D-base+

SEW-D by ASAPP Researchによる音声認識モデルで、事前学習済みのベースモデルを提供します。下流タスクでの微調整が可能です。

🚀 クイックスタート

このモデルは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。モデルを使用する際には、音声入力も16kHzでサンプリングされていることを確認してください。このモデルは、自動音声認識、話者識別、意図分類、感情認識などの下流タスクで微調整する必要があります。

論文: Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition

著者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

概要 この論文は、自動音声認識（ASR）の事前学習モデルにおける性能と効率のトレードオフについて研究しています。wav2vec 2.0に焦点を当て、モデルの性能と効率の両方に影響を与えるいくつかのアーキテクチャ設計を定式化します。すべての観察結果をまとめて、SEW（Squeezed and Efficient Wav2vec）という事前学習モデルアーキテクチャを導入します。これは、さまざまなトレーニング設定において、性能と効率の両方の面で大幅な改善をもたらします。たとえば、LibriSpeechの100h - 960hの半教師付き設定では、SEWはwav2vec 2.0と比較して1.9倍の推論速度向上を達成し、単語誤り率を13.5％相対的に削減します。同様の推論時間で、SEWは異なるモデルサイズで単語誤り率を25 - 50％削減します。

元のモデルは https://github.com/asappresearch/sew#model-checkpoints で見つけることができます。

✨ 主な機能

• 16kHzサンプリング音声で事前学習されたベースモデル
• 自動音声認識、話者識別などの下流タスクでの微調整可能
• 性能と効率の両面での改善

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

音声ファイルを文字起こしするために、モデルを以下のように独立した音響モデルとして使用できます。

from transformers import Wav2Vec2Processor, SEWDForCTC
from datasets import load_dataset
import soundfile as sf
import torch
 
# load the model and preprocessor
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-base-plus-400k-ft-ls100h")
model = SEWDForCTC.from_pretrained("asapp/sew-d-base-plus-400k-ft-ls100h")

# load the dummy dataset with speech samples
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
# preprocess
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # Batch size 1

# retrieve logits
logits = model(input_values).logits
 
# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高度な使用法

このコードスニペットは、asapp/sew-d-base-plus-400k-ft-ls100h をLibriSpeechの "clean" および "other" のテストデータで評価する方法を示しています。

from datasets import load_dataset
from transformers import SEWDForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = SEWDForCTC.from_pretrained("asapp/sew-d-base-plus-400k-ft-ls100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-base-plus-400k-ft-ls100h")

def map_to_pred(batch):
    input_values = processor(batch["audio"][0]["array"], sampling_rate=16000, 
                             return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

評価結果

📚 ドキュメント

本READMEには詳細な説明が記載されていないため、このセクションをスキップします。

🔧 技術詳細

本READMEには具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。