Seamless M4t V2 Large

🚀 SeamlessM4T v2

SeamlessM4T は、約100言語の音声とテキストに対して高品質な翻訳を提供する、包括的な多言語・多モーダル機械翻訳モデルです。

SeamlessM4Tモデルは以下のタスクをサポートしています。

• 音声から音声への翻訳 (S2ST)
• 音声からテキストへの翻訳 (S2TT)
• テキストから音声への翻訳 (T2ST)
• テキストからテキストへの翻訳 (T2TT)
• 自動音声認識 (ASR)

SeamlessM4Tモデルは以下をサポートしています。

• 🎤 音声入力には101言語。
• 💬 テキスト入出力には96言語。
• 🔊 音声出力には35言語。

🌟 私たちは、新しい UnitY2 アーキテクチャを搭載したSeamlessM4T v2をリリースしています。 この新しいモデルは、音声生成タスクにおいてSeamlessM4T v1よりも品質と推論速度が向上しています。

SeamlessM4Tのv2バージョンは、新しい UnitY2 アーキテクチャをマルチタスクに適応させたものです。 Unity2 は、階層的な文字からユニットへのアップサンプリングと非自己回帰的なテキストからユニットへのデコードにより、SeamlessM4T v1よりも品質と推論速度が大幅に向上しています。

SeamlessM4T v2は 🤗 Transformers でもサポートされています。詳細は以下の専用セクションをご覧ください。

📦 SeamlessM4T モデル

上記の metrics ファイルには、論文で報告されているseamlessM4T-LargeとSeamlessM4T-Mediumの広範な評価結果（平均値）が含まれています。

FLEURS、CoVoST2、CVSS-Cの評価データIDはこちらで確認できます。

🔧 SeamlessM4Tモデルの評価

私たちの結果を再現するか、独自のテストセットで同じ評価指標を使用して評価するには、こちらの評価READMEを参照してください。

🔧 SeamlessM4Tモデルの微調整

微調整については、こちらの微調整READMEを参照してください。

💻 Transformersの使用方法

SeamlessM4Tは 🤗 Transformers ライブラリで利用可能で、最小限の依存関係で使用できます。始めるには以下の手順を実行します。

1. まず、mainから 🤗 Transformersライブラリ と sentencepiece をインストールします。

pip install git+https://github.com/huggingface/transformers.git sentencepiece

2. 以下のPythonコードを実行して音声サンプルを生成します。ここではターゲット言語をロシア語に設定しています。

from transformers import AutoProcessor, SeamlessM4Tv2Model
import torchaudio

processor = AutoProcessor.from_pretrained("facebook/seamless-m4t-v2-large")
model = SeamlessM4Tv2Model.from_pretrained("facebook/seamless-m4t-v2-large")

# テキストから
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt")
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

# 音声から
audio, orig_freq =  torchaudio.load("https://www2.cs.uic.edu/~i101/SoundFiles/preamble10.wav")
audio =  torchaudio.functional.resample(audio, orig_freq=orig_freq, new_freq=16_000) # 16 kHzの波形配列である必要があります
audio_inputs = processor(audios=audio, return_tensors="pt")
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()

3. ipynbノートブックで音声サンプルを聴くには、以下のコードを実行します。

from IPython.display import Audio

sample_rate = model.sampling_rate
Audio(audio_array_from_text, rate=sample_rate)
# Audio(audio_array_from_audio, rate=sample_rate)

または、サードパーティのライブラリ（例：scipy）を使用して .wav ファイルとして保存することもできます。

import scipy

sample_rate = model.sampling_rate
scipy.io.wavfile.write("out_from_text.wav", rate=sample_rate, data=audio_array_from_text)
# scipy.io.wavfile.write("out_from_audio.wav", rate=sample_rate, data=audio_array_from_audio)

🤗 Transformers ライブラリを使用してSeamlessM4Tモデルを推論する詳細については、SeamlessM4T v2 ドキュメント またはこの 実践的な Google Colab を参照してください。

🗣️ サポートされている言語

以下に、SeamlessM4T-large (v1/v2) でサポートされている言語を示します。 source 列は、言語がソース音声 (Sp) および/またはソーステキスト (Tx) としてサポートされているかを指定します。 target 列は、言語がターゲット音声 (Sp) および/またはターゲットテキスト (Tx) としてサポートされているかを指定します。

なお、seamlessM4T-mediumはテキストモダリティで200言語をサポートしており、NLLB-200に基づいています（詳細なリストはアセットカードを参照）。

📄 引用

SeamlessM4T v2について引用する場合は、以下を使用してください。

@inproceedings{seamless2023,
   title="Seamless: Multilingual Expressive and Streaming Speech Translation",
   author="{Seamless Communication}, Lo{\"i}c Barrault, Yu-An Chung, Mariano Coria Meglioli, David Dale, Ning Dong, Mark Duppenthaler, Paul-Ambroise Duquenne, Brian Ellis, Hady Elsahar, Justin Haaheim, John Hoffman, Min-Jae Hwang, Hirofumi Inaguma, Christopher Klaiber, Ilia Kulikov, Pengwei Li, Daniel Licht, Jean Maillard, Ruslan Mavlyutov, Alice Rakotoarison, Kaushik Ram Sadagopan, Abinesh Ramakrishnan, Tuan Tran, Guillaume Wenzek, Yilin Yang, Ethan Ye, Ivan Evtimov, Pierre Fernandez, Cynthia Gao, Prangthip Hansanti, Elahe Kalbassi, Amanda Kallet, Artyom Kozhevnikov, Gabriel Mejia, Robin San Roman, Christophe Touret, Corinne Wong, Carleigh Wood, Bokai Yu, Pierre Andrews, Can Balioglu, Peng-Jen Chen, Marta R. Costa-juss{\`a}, Maha Elbayad, Hongyu Gong, Francisco Guzm{\'a}n, Kevin Heffernan, Somya Jain, Justine Kao, Ann Lee, Xutai Ma, Alex Mourachko, Benjamin Peloquin, Juan Pino, Sravya Popuri, Christophe Ropers, Safiyyah Saleem, Holger Schwenk, Anna Sun, Paden Tomasello, Changhan Wang, Jeff Wang, Skyler Wang, Mary Williamson",
  journal={ArXiv},
  year={2023}
}