Seamless M4t V2 Large

🚀 SeamlessM4T v2

SeamlessM4T 是我們的基礎一體化大規模多語言和多模態機器翻譯模型，可為近 100 種語言的語音和文本提供高質量翻譯。

SeamlessM4T 模型支持以下任務：

• 語音到語音翻譯（S2ST）
• 語音到文本翻譯（S2TT）
• 文本到語音翻譯（T2ST）
• 文本到文本翻譯（T2TT）
• 自動語音識別（ASR）

SeamlessM4T 模型支持：

• 🎤 101 種語音輸入語言。
• 💬 96 種文本輸入/輸出語言。
• 🔊 35 種語音輸出語言。

🌟 我們發佈了 SeamlessM4T v2，這是一個採用了全新 UnitY2 架構的更新版本。該新模型在語音生成任務的質量和推理速度上均優於 SeamlessM4T v1。

SeamlessM4T v2 是我們全新 UnitY2 架構的多任務適配版本。Unity2 憑藉其分層字符到單元的上採樣和非自迴歸文本到單元的解碼，在質量和推理速度上顯著優於 SeamlessM4T v1。

SeamlessM4T v2 也得到了 🤗 Transformers 庫的支持，更多信息請見 下方專用章節。

🚀 快速開始

SeamlessM4T 是一款強大的多語言多模態機器翻譯模型，支持多種翻譯任務和近 100 種語言。以下將為你介紹其使用的基本步驟和相關信息。

✨ 主要特性

• 多任務支持：支持語音到語音翻譯、語音到文本翻譯、文本到語音翻譯、文本到文本翻譯以及自動語音識別等多種任務。
• 廣泛的語言支持：支持 101 種語音輸入語言、96 種文本輸入/輸出語言和 35 種語音輸出語言。
• 高質量翻譯：採用全新 UnitY2 架構，在語音生成任務的質量和推理速度上均有提升。

📦 安裝指南

安裝依賴庫

首先，你需要安裝 🤗 Transformers 庫 和 sentencepiece：

pip install git+https://github.com/huggingface/transformers.git sentencepiece

💻 使用示例

基礎用法

運行以下 Python 代碼以生成語音樣本，這裡目標語言為俄語：

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

# 從文本生成語音
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

# 從音頻生成語音
audio, orig_freq =  torchaudio.load("https://www2.cs.uic.edu/~i101/SoundFiles/preamble10.wav")
audio =  torchaudio.functional.resample(audio, orig_freq=orig_freq, new_freq=16_000) # 必須是 16 kHz 的波形數組
audio_inputs = processor(audios=audio, return_tensors="pt")
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

高級用法

在 ipynb 筆記本中收聽音頻樣本

from IPython.display import Audio

sample_rate = model.sampling_rate
Audio(audio_array_from_text, rate=sample_rate)
# Audio(audio_array_from_audio, rate=sample_rate)

使用第三方庫（如 scipy）將音頻保存為 .wav 文件

import scipy

sample_rate = model.sampling_rate
scipy.io.wavfile.write("out_from_text.wav", rate=sample_rate, data=audio_array_from_text)
# scipy.io.wavfile.write("out_from_audio.wav", rate=sample_rate, data=audio_array_from_audio)

📚 詳細文檔

SeamlessM4T 模型

我們在上述 metrics 文件中提供了論文中報告的 seamlessM4T-Large 和 SeamlessM4T-Medium 的廣泛評估結果（平均值）。FLEURS、CoVoST2 和 CVSS - C 的評估數據 ID 可在 此處 找到。

評估 SeamlessM4T 模型

若要復現我們的結果或使用相同指標在你自己的測試集上進行評估，請查看 此處的評估 README。

微調 SeamlessM4T 模型

請查看 此處的微調 README。

Transformers 庫使用

有關使用 🤗 Transformers 庫進行 SeamlessM4T 模型推理的更多詳細信息，請參考 SeamlessM4T v2 文檔 或這個 實踐 Google Colab。

支持的語言

以下是 SeamlessM4T-large (v1/v2) 支持的語言列表。source 列指定一種語言是否作為源語音 (Sp) 和/或源文本 (Tx) 受到支持。target 列指定一種語言是否作為目標語音 (Sp) 和/或目標文本 (Tx) 受到支持。

請注意，seamlessM4T - medium 在文本模式下支持 200 種語言，它基於 NLLB - 200（完整列表見 資產卡片）。

📄 許可證

本項目採用 CC - BY - NC - 4.0 許可證。

🔧 技術細節

模型指標

引用信息

如需引用 SeamlessM4T v2，請使用以下 BibTeX 格式：

@inproceedings{seamless2023,
   title="Seamless: Multilingual Expressive and Streaming Speech Translation",
   author="{Seamless Communication}, Lo{\"i}c Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Duppenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-juss{\`a}, Maha Elbayad, Hongyu Gong, Francisco Guzm{\'a}n, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, Mary Williamson",
  journal={ArXiv},
  year={2023}
}