Seamless M4t V2 Large

🚀 SeamlessM4T v2

SeamlessM4T 是我们的基础一体化大规模多语言和多模态机器翻译模型，可为近 100 种语言的语音和文本提供高质量翻译。

SeamlessM4T 模型支持以下任务：

• 语音到语音翻译（S2ST）
• 语音到文本翻译（S2TT）
• 文本到语音翻译（T2ST）
• 文本到文本翻译（T2TT）
• 自动语音识别（ASR）

SeamlessM4T 模型支持：

• 🎤 101 种语音输入语言。
• 💬 96 种文本输入/输出语言。
• 🔊 35 种语音输出语言。

🌟 我们发布了 SeamlessM4T v2，这是一个采用了全新 UnitY2 架构的更新版本。该新模型在语音生成任务的质量和推理速度上均优于 SeamlessM4T v1。

SeamlessM4T v2 是我们全新 UnitY2 架构的多任务适配版本。Unity2 凭借其分层字符到单元的上采样和非自回归文本到单元的解码，在质量和推理速度上显著优于 SeamlessM4T v1。

SeamlessM4T v2 也得到了 🤗 Transformers 库的支持，更多信息请见 下方专用章节。

🚀 快速开始

SeamlessM4T 是一款强大的多语言多模态机器翻译模型，支持多种翻译任务和近 100 种语言。以下将为你介绍其使用的基本步骤和相关信息。

✨ 主要特性

• 多任务支持：支持语音到语音翻译、语音到文本翻译、文本到语音翻译、文本到文本翻译以及自动语音识别等多种任务。
• 广泛的语言支持：支持 101 种语音输入语言、96 种文本输入/输出语言和 35 种语音输出语言。
• 高质量翻译：采用全新 UnitY2 架构，在语音生成任务的质量和推理速度上均有提升。

📦 安装指南

安装依赖库

首先，你需要安装 🤗 Transformers 库 和 sentencepiece：

pip install git+https://github.com/huggingface/transformers.git sentencepiece

💻 使用示例

基础用法

运行以下 Python 代码以生成语音样本，这里目标语言为俄语：

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

# 从文本生成语音
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

# 从音频生成语音
audio, orig_freq =  torchaudio.load("https://www2.cs.uic.edu/~i101/SoundFiles/preamble10.wav")
audio =  torchaudio.functional.resample(audio, orig_freq=orig_freq, new_freq=16_000) # 必须是 16 kHz 的波形数组
audio_inputs = processor(audios=audio, return_tensors="pt")
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

高级用法

在 ipynb 笔记本中收听音频样本

from IPython.display import Audio

sample_rate = model.sampling_rate
Audio(audio_array_from_text, rate=sample_rate)
# Audio(audio_array_from_audio, rate=sample_rate)

使用第三方库（如 scipy）将音频保存为 .wav 文件

import scipy

sample_rate = model.sampling_rate
scipy.io.wavfile.write("out_from_text.wav", rate=sample_rate, data=audio_array_from_text)
# scipy.io.wavfile.write("out_from_audio.wav", rate=sample_rate, data=audio_array_from_audio)

📚 详细文档

SeamlessM4T 模型

我们在上述 metrics 文件中提供了论文中报告的 seamlessM4T-Large 和 SeamlessM4T-Medium 的广泛评估结果（平均值）。FLEURS、CoVoST2 和 CVSS - C 的评估数据 ID 可在 此处 找到。

评估 SeamlessM4T 模型

若要复现我们的结果或使用相同指标在你自己的测试集上进行评估，请查看 此处的评估 README。

微调 SeamlessM4T 模型

请查看 此处的微调 README。

Transformers 库使用

有关使用 🤗 Transformers 库进行 SeamlessM4T 模型推理的更多详细信息，请参考 SeamlessM4T v2 文档 或这个 实践 Google Colab。

支持的语言

以下是 SeamlessM4T-large (v1/v2) 支持的语言列表。source 列指定一种语言是否作为源语音 (Sp) 和/或源文本 (Tx) 受到支持。target 列指定一种语言是否作为目标语音 (Sp) 和/或目标文本 (Tx) 受到支持。

请注意，seamlessM4T - medium 在文本模式下支持 200 种语言，它基于 NLLB - 200（完整列表见 资产卡片）。

📄 许可证

本项目采用 CC - BY - NC - 4.0 许可证。

🔧 技术细节

模型指标

引用信息

如需引用 SeamlessM4T v2，请使用以下 BibTeX 格式：

@inproceedings{seamless2023,
   title="Seamless: Multilingual Expressive and Streaming Speech Translation",
   author="{Seamless Communication}, Lo{\"i}c Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Duppenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-juss{\`a}, Maha Elbayad, Hongyu Gong, Francisco Guzm{\'a}n, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, Mary Williamson",
  journal={ArXiv},
  year={2023}
}