Wav2vec2 Xls R 300m 21 To En

🚀 Wav2Vec2-XLS-R-300M-21-EN

Facebook的Wav2Vec2 XLS - R针对语音翻译进行了微调。该模型能够将多种语言的语音翻译成英语，为跨语言交流提供了便利。

这是一个SpeechEncoderDecoderModel模型。编码器从facebook/wav2vec2-xls-r-300m检查点进行预热启动，解码器从facebook/mbart-large-50检查点启动。因此，该编码器 - 解码器模型在Covost2数据集的21个{lang} -> en翻译对上进行了微调。

支持的语言

模型可以将以下口语语言{lang}翻译成英语en：

{fr, de, es, ca, it, ru, zh-CN, pt, fa, et, mn, nl, tr, ar, sv-SE, lv, sl, ta, ja, id, cy} -> en

更多信息，请参考官方XLS - R论文的第 5.1.2 节。

🚀 快速开始

✨ 演示

你可以直接在该模型卡片的语音识别小部件上测试该模型！只需用支持的语言录制一些音频，或者选择一个示例音频文件，即可查看该检查点对输入的翻译效果。

💻 使用示例

基础用法

由于这是一个标准的序列到序列的Transformer模型，你可以使用generate方法，将语音特征传递给模型来生成转录内容。

你可以通过自动语音识别（ASR）管道直接使用该模型：

from datasets import load_dataset
from transformers import pipeline

# 替换以下行以加载你选择的音频文件
librispeech_en = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
audio_file = librispeech_en[0]["file"]

asr = pipeline("automatic-speech-recognition", model="facebook/wav2vec2-xls-r-300m-21-to-en", feature_extractor="facebook/wav2vec2-xls-r-300m-21-to-en")

translation = asr(audio_file)

高级用法

也可以按以下步骤逐步使用：

import torch
from transformers import Speech2Text2Processor, SpeechEncoderDecoderModel
from datasets import load_dataset

model = SpeechEncoderDecoderModel.from_pretrained("facebook/wav2vec2-xls-r-300m-21-to-en")
processor = Speech2Text2Processor.from_pretrained("facebook/wav2vec2-xls-r-300m-21-to-en")

ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["array"]["sampling_rate"], return_tensors="pt")
generated_ids = model.generate(input_ids=inputs["input_features"], attention_mask=inputs["attention_mask"])
transcription = processor.batch_decode(generated_ids)

📚 详细文档

🔍 结果 {lang} -> en

查看Covost2上该模型的性能，请参考XLS - R (0.3B) 这一行。

更多用于{lang} -> en语音翻译的XLS - R模型

• Wav2Vec2-XLS-R-300M-21-EN
• Wav2Vec2-XLS-R-1B-21-EN
• Wav2Vec2-XLS-R-2B-21-EN
• Wav2Vec2-XLS-R-2B-22-16

📄 许可证

本项目采用apache - 2.0许可证。