Wav2vec2 Xls R 300m 21 To En

🚀 Wav2Vec2-XLS-R-300M-21-EN

Facebook的Wav2Vec2 XLS - R針對語音翻譯進行了微調。該模型能夠將多種語言的語音翻譯成英語，為跨語言交流提供了便利。

這是一個SpeechEncoderDecoderModel模型。編碼器從facebook/wav2vec2-xls-r-300m檢查點進行預熱啟動，解碼器從facebook/mbart-large-50檢查點啟動。因此，該編碼器 - 解碼器模型在Covost2數據集的21個{lang} -> en翻譯對上進行了微調。

支持的語言

模型可以將以下口語語言{lang}翻譯成英語en：

{fr, de, es, ca, it, ru, zh-CN, pt, fa, et, mn, nl, tr, ar, sv-SE, lv, sl, ta, ja, id, cy} -> en

更多信息，請參考官方XLS - R論文的第 5.1.2 節。

🚀 快速開始

✨ 演示

你可以直接在該模型卡片的語音識別小部件上測試該模型！只需用支持的語言錄製一些音頻，或者選擇一個示例音頻文件，即可查看該檢查點對輸入的翻譯效果。

💻 使用示例

基礎用法

由於這是一個標準的序列到序列的Transformer模型，你可以使用generate方法，將語音特徵傳遞給模型來生成轉錄內容。

你可以通過自動語音識別（ASR）管道直接使用該模型：

from datasets import load_dataset
from transformers import pipeline

# 替換以下行以加載你選擇的音頻文件
librispeech_en = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
audio_file = librispeech_en[0]["file"]

asr = pipeline("automatic-speech-recognition", model="facebook/wav2vec2-xls-r-300m-21-to-en", feature_extractor="facebook/wav2vec2-xls-r-300m-21-to-en")

translation = asr(audio_file)

高級用法

也可以按以下步驟逐步使用：

import torch
from transformers import Speech2Text2Processor, SpeechEncoderDecoderModel
from datasets import load_dataset

model = SpeechEncoderDecoderModel.from_pretrained("facebook/wav2vec2-xls-r-300m-21-to-en")
processor = Speech2Text2Processor.from_pretrained("facebook/wav2vec2-xls-r-300m-21-to-en")

ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["array"]["sampling_rate"], return_tensors="pt")
generated_ids = model.generate(input_ids=inputs["input_features"], attention_mask=inputs["attention_mask"])
transcription = processor.batch_decode(generated_ids)

📚 詳細文檔

🔍 結果 {lang} -> en

查看Covost2上該模型的性能，請參考XLS - R (0.3B) 這一行。

更多用於{lang} -> en語音翻譯的XLS - R模型

• Wav2Vec2-XLS-R-300M-21-EN
• Wav2Vec2-XLS-R-1B-21-EN
• Wav2Vec2-XLS-R-2B-21-EN
• Wav2Vec2-XLS-R-2B-22-16

📄 許可證

本項目採用apache - 2.0許可證。