Sew D Mid 400k Ft Ls100h

🚀 SEW-D-mid

SEW-D by ASAPP Research

このモデルは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。このモデルは、自動音声認識、話者識別、意図分類、感情認識などの下流タスクでファインチューニングする必要があります。

論文: Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition

著者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

概要 この論文は、自動音声認識（ASR）の事前学習モデルにおける性能と効率のトレードオフについて研究しています。著者らはwav2vec 2.0に焦点を当て、モデルの性能と効率の両方に影響を与えるいくつかのアーキテクチャ設計を定式化しています。これらの知見を総合して、著者らはSEW（Squeezed and Efficient Wav2vec）という事前学習モデルアーキテクチャを導入しています。これは、さまざまなトレーニング設定において、性能と効率の両面で大幅な改善をもたらします。たとえば、LibriSpeechの100h - 960hの半教師あり設定では、SEWはwav2vec 2.0と比較して1.9倍の推論速度向上を達成し、単語誤り率を13.5％相対的に削減します。同程度の推論時間で、SEWは異なるモデルサイズで単語誤り率を25 - 50％削減します。

元のモデルは、https://github.com/asappresearch/sew#model-checkpoints で確認できます。

🚀 クイックスタート

このモデルを使用するには、入力音声が16kHzでサンプリングされていることを確認し、下流タスクでファインチューニングする必要があります。

✨ 主な機能

• 16kHzでサンプリングされた音声オーディオで事前学習されたベースモデル。
• 自動音声認識、話者識別、意図分類、感情認識などの下流タスクでのファインチューニングが可能。
• 性能と効率の両面での改善が見られるアーキテクチャ。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import Wav2Vec2Processor, SEWDForCTC
from datasets import load_dataset
import soundfile as sf
import torch
 
# モデルと前処理器をロード
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")
model = SEWDForCTC.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")

# 音声サンプルを含むダミーデータセットをロード
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
# 前処理
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # バッチサイズ1

# ロジットを取得
logits = model(input_values).logits
 
# 最大値を取り、デコード
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高度な使用法

from datasets import load_dataset
from transformers import SEWDForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = SEWDForCTC.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("asapp/sew-d-mid-400k-ft-ls100h")

def map_to_pred(batch):
    input_values = processor(batch["audio"][0]["array"], sampling_rate=16000, 
                             return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

📚 ドキュメント

評価結果

モデル情報

🔧 技術詳細

このドキュメントには具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。