Seamless M4t V2 Large

🚀 SeamlessM4T v2

SeamlessM4T 是我们的基础一体化多语言多模态机器翻译模型，可为近 100 种语言的语音和文本提供高质量翻译。

SeamlessM4T 模型支持以下任务：

• 语音到语音翻译（S2ST）
• 语音到文本翻译（S2TT）
• 文本到语音翻译（T2ST）
• 文本到文本翻译（T2TT）
• 自动语音识别（ASR）

SeamlessM4T 模型支持：

• 🎤 101 种语音输入语言。
• 💬 96 种文本输入/输出语言。
• 🔊 35 种语音输出语言。

🌟 我们正在发布 SeamlessM4T v2，这是一个采用全新 UnitY2 架构的更新版本。这个新模型在质量和语音生成任务的推理速度上都比 SeamlessM4T v1 有所提升。

SeamlessM4T 的 v2 版本是我们全新 UnitY2 架构的多任务适配版本。UnitY2 具有分层字符到单元上采样和非自回归文本到单元解码功能，在质量和推理速度上都比 SeamlessM4T v1 有显著提升。

SeamlessM4T v2 也得到了 🤗 Transformers 库的支持，更多信息请查看 下面的专用部分。

✨ 主要特性

支持语言众多

支持近 100 种语言的语音和文本翻译，包括语音输入 101 种语言、文本输入/输出 96 种语言、语音输出 35 种语言。

多任务支持

支持语音到语音、语音到文本、文本到语音、文本到文本翻译以及自动语音识别等多种任务。

架构升级

v2 版本采用全新 UnitY2 架构，在质量和推理速度上都有提升。

库支持

得到 🤗 Transformers 库的支持，使用方便。

📦 安装指南

安装依赖库

首先，从主分支安装 🤗 Transformers 库 和 sentencepiece：

pip install git+https://github.com/huggingface/transformers.git sentencepiece

💻 使用示例

基础用法

运行以下 Python 代码生成语音样本，这里目标语言为俄语：

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

# 从文本生成
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

# 从音频生成
audio, orig_freq =  torchaudio.load("https://www2.cs.uic.edu/~i101/SoundFiles/preamble10.wav")
audio =  torchaudio.functional.resample(audio, orig_freq=orig_freq, new_freq=16_000) # 必须是 16 kHz 的波形数组
audio_inputs = processor(audios=audio, return_tensors="pt")
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

高级用法

在 ipynb 笔记本中收听音频样本

from IPython.display import Audio

sample_rate = model.config.sampling_rate
Audio(audio_array_from_text, rate=sample_rate)
# Audio(audio_array_from_audio, rate=sample_rate)

使用第三方库将音频保存为 .wav 文件

import scipy

sample_rate = model.config.sampling_rate
scipy.io.wavfile.write("out_from_text.wav", rate=sample_rate, data=audio_array_from_text)
# scipy.io.wavfile.write("out_from_audio.wav", rate=sample_rate, data=audio_array_from_audio)

📚 详细文档

模型信息

模型评估

若要复现我们的结果或使用相同指标在你自己的测试集上进行评估，请查看 评估文档。

模型微调

请查看 微调文档。

支持的语言

以下是 SeamlessM4T-large（v1/v2）支持的语言列表。source 列指定一种语言是否作为源语音（Sp）和/或源文本（Tx）被支持。target 列指定一种语言是否作为目标语音（Sp）和/或目标文本（Tx）被支持。

请注意，SeamlessM4T-medium 在文本模式下支持 200 种语言，基于 NLLB - 200（完整列表见 资产卡片）。

🔧 技术细节

SeamlessM4T v2 是多任务适配的 UnitY2 架构，该架构具有分层字符到单元上采样和非自回归文本到单元解码功能，在质量和推理速度上都比 SeamlessM4T v1 有显著提升。

📄 许可证

本项目采用 CC BY - NC 4.0 许可证。

📖 引用

如需引用 SeamlessM4T v2，请使用以下 BibTeX 格式：

@inproceedings{seamless2023,
   title="Seamless: Multilingual Expressive and Streaming Speech Translation",
   author="{Seamless Communication}, Lo{\"i}c Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Duppenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-juss{\`a}, Maha Elbayad, Hongyu Gong, Francisco Guzm{\'a}n, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, Mary Williamson",
  journal={ArXiv},
  year={2023}
}