Seamless M4t V2 Large

🚀 SeamlessM4T v2

SeamlessM4T 是我們的基礎一體化多語言多模態機器翻譯模型，可為近 100 種語言的語音和文本提供高質量翻譯。

SeamlessM4T 模型支持以下任務：

• 語音到語音翻譯（S2ST）
• 語音到文本翻譯（S2TT）
• 文本到語音翻譯（T2ST）
• 文本到文本翻譯（T2TT）
• 自動語音識別（ASR）

SeamlessM4T 模型支持：

• 🎤 101 種語音輸入語言。
• 💬 96 種文本輸入/輸出語言。
• 🔊 35 種語音輸出語言。

🌟 我們正在發佈 SeamlessM4T v2，這是一個採用全新 UnitY2 架構的更新版本。這個新模型在質量和語音生成任務的推理速度上都比 SeamlessM4T v1 有所提升。

SeamlessM4T 的 v2 版本是我們全新 UnitY2 架構的多任務適配版本。UnitY2 具有分層字符到單元上採樣和非自迴歸文本到單元解碼功能，在質量和推理速度上都比 SeamlessM4T v1 有顯著提升。

SeamlessM4T v2 也得到了 🤗 Transformers 庫的支持，更多信息請查看 下面的專用部分。

✨ 主要特性

支持語言眾多

支持近 100 種語言的語音和文本翻譯，包括語音輸入 101 種語言、文本輸入/輸出 96 種語言、語音輸出 35 種語言。

多任務支持

支持語音到語音、語音到文本、文本到語音、文本到文本翻譯以及自動語音識別等多種任務。

架構升級

v2 版本採用全新 UnitY2 架構，在質量和推理速度上都有提升。

庫支持

得到 🤗 Transformers 庫的支持，使用方便。

📦 安裝指南

安裝依賴庫

首先，從主分支安裝 🤗 Transformers 庫 和 sentencepiece：

pip install git+https://github.com/huggingface/transformers.git sentencepiece

💻 使用示例

基礎用法

運行以下 Python 代碼生成語音樣本，這裡目標語言為俄語：

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

# 從文本生成
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

# 從音頻生成
audio, orig_freq =  torchaudio.load("https://www2.cs.uic.edu/~i101/SoundFiles/preamble10.wav")
audio =  torchaudio.functional.resample(audio, orig_freq=orig_freq, new_freq=16_000) # 必須是 16 kHz 的波形數組
audio_inputs = processor(audios=audio, return_tensors="pt")
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

高級用法

在 ipynb 筆記本中收聽音頻樣本

from IPython.display import Audio

sample_rate = model.config.sampling_rate
Audio(audio_array_from_text, rate=sample_rate)
# Audio(audio_array_from_audio, rate=sample_rate)

使用第三方庫將音頻保存為 .wav 文件

import scipy

sample_rate = model.config.sampling_rate
scipy.io.wavfile.write("out_from_text.wav", rate=sample_rate, data=audio_array_from_text)
# scipy.io.wavfile.write("out_from_audio.wav", rate=sample_rate, data=audio_array_from_audio)

📚 詳細文檔

模型信息

模型評估

若要復現我們的結果或使用相同指標在你自己的測試集上進行評估，請查看 評估文檔。

模型微調

請查看 微調文檔。

支持的語言

以下是 SeamlessM4T-large（v1/v2）支持的語言列表。source 列指定一種語言是否作為源語音（Sp）和/或源文本（Tx）被支持。target 列指定一種語言是否作為目標語音（Sp）和/或目標文本（Tx）被支持。

請注意，SeamlessM4T-medium 在文本模式下支持 200 種語言，基於 NLLB - 200（完整列表見 資產卡片）。

🔧 技術細節

SeamlessM4T v2 是多任務適配的 UnitY2 架構，該架構具有分層字符到單元上採樣和非自迴歸文本到單元解碼功能，在質量和推理速度上都比 SeamlessM4T v1 有顯著提升。

📄 許可證

本項目採用 CC BY - NC 4.0 許可證。

📖 引用

如需引用 SeamlessM4T v2，請使用以下 BibTeX 格式：

@inproceedings{seamless2023,
   title="Seamless: Multilingual Expressive and Streaming Speech Translation",
   author="{Seamless Communication}, Lo{\"i}c Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Duppenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-juss{\`a}, Maha Elbayad, Hongyu Gong, Francisco Guzm{\'a}n, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, Mary Williamson",
  journal={ArXiv},
  year={2023}
}