S2t Wav2vec2 Large En De

🚀 S2T2-Wav2Vec2-CoVoST2-EN-DE-ST

s2t-wav2vec2-large-en-de 是一个用于端到端语音翻译（ST）的语音转文本Transformer模型。S2T2模型在论文 Large-Scale Self- and Semi-Supervised Learning for Speech Translation 中被提出，并在 Fairseq 中正式发布。

✨ 主要特性

• 多语言支持：支持英语和德语，适用于英语语音到德语文本的翻译任务。
• 端到端处理：能够直接将语音转换为文本，无需额外的中间步骤。
• 基于Transformer架构：利用Transformer的强大能力，实现高效的语音处理和翻译。

📦 安装指南

文档中未提及具体安装步骤，可参考相关依赖库（如 transformers、datasets 等）的官方文档进行安装。

💻 使用示例

基础用法

from datasets import load_dataset
from transformers import pipeline

librispeech_en = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
asr = pipeline("automatic-speech-recognition", model="facebook/s2t-wav2vec2-large-en-de", feature_extractor="facebook/s2t-wav2vec2-large-en-de")

translation_de = asr(librispeech_en[0]["file"])

高级用法

import torch
from transformers import Speech2Text2Processor, SpeechEncoderDecoder
from datasets import load_dataset

import soundfile as sf
model = SpeechEncoderDecoder.from_pretrained("facebook/s2t-wav2vec2-large-en-de")
processor = Speech2Text2Processor.from_pretrained("facebook/s2t-wav2vec2-large-en-de")

def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch
    
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
ds = ds.map(map_to_array)

inputs = processor(ds["speech"][0], sampling_rate=16_000, return_tensors="pt")
generated_ids = model.generate(input_ids=inputs["input_features"], attention_mask=inputs["attention_mask"])
transcription = processor.batch_decode(generated_ids)

📚 详细文档

模型描述

S2T2是一个基于Transformer的序列到序列（语音编码器 - 解码器）模型，专为端到端自动语音识别（ASR）和语音翻译（ST）而设计。它使用预训练的 Wav2Vec2 作为编码器，并采用基于Transformer的解码器。该模型使用标准的自回归交叉熵损失进行训练，并以自回归方式生成翻译结果。

预期用途和限制

此模型可用于端到端的英语语音到德语文本的翻译。你可以在 模型中心 查找其他S2T2检查点。

评估结果

CoVoST-V2 英语到德语的测试结果（BLEU分数）：26.5。 更多信息请参考 官方论文 - 特别是表2的第10行。

BibTeX引用和引用信息

@article{DBLP:journals/corr/abs-2104-06678,
  author    = {Changhan Wang and
               Anne Wu and
               Juan Miguel Pino and
               Alexei Baevski and
               Michael Auli and
               Alexis Conneau},
  title     = {Large-Scale Self- and Semi-Supervised Learning for Speech Translation},
  journal   = {CoRR},
  volume    = {abs/2104.06678},
  year      = {2021},
  url       = {https://arxiv.org/abs/2104.06678},
  archivePrefix = {arXiv},
  eprint    = {2104.06678},
  timestamp = {Thu, 12 Aug 2021 15:37:06 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2104-06678.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 许可证

本项目采用MIT许可证。

相关信息表格