Mms 1b All

🚀 大規模多語言語音（MMS） - 微調後的自動語音識別 - 全語言支持

本模型是一個針對多語言自動語音識別（ASR）進行微調的模型，是Facebook 大規模多語言語音項目 的一部分。該模型基於 Wav2Vec2架構，並利用適配器模型實現對1000多種語言的轉錄。此檢查點包含 10億個參數，是在1162種語言上對 facebook/mms-1b 進行微調得到的。

🚀 快速開始

本MMS檢查點可與 Transformers 庫結合使用，對1107種不同語言的音頻進行轉錄。下面是一個簡單的示例。

首先，安裝 transformers 及其他必要的庫：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要安裝至少 transformers >= 4.30 版本。如果 4.30 版本尚未在 PyPI 上發佈，請從源代碼安裝 transformers：

pip install git+https://github.com/huggingface/transformers.git

接下來，通過 datasets 庫加載一些音頻樣本。請確保音頻數據的採樣率為16000 kHz。

from datasets import load_dataset, Audio

# 英語樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 法語樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

然後，加載模型和處理器：

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-all"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

現在，處理音頻數據，將處理後的音頻數據輸入模型，並對模型輸出進行轉錄，就像處理 facebook/wav2vec2-base-960h 等Wav2Vec2模型一樣：

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

我們可以將模型保留在內存中，通過調用便捷的 load_adapter() 函數為模型加載語言適配器，並使用 set_target_lang() 函數為分詞器設置目標語言。例如，將目標語言設置為法語（"fra"）：

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

以同樣的方式，可以為所有支持的語言切換語言適配器。你可以查看以下代碼獲取支持的語言列表：

processor.tokenizer.vocab.keys()

更多詳細信息，請參考 官方文檔。

✨ 主要特性

• 多語言支持：該模型支持1162種語言，能夠滿足不同語言環境下的語音識別需求。
• 微調優化：基於Wav2Vec2架構進行微調，在多語言語音識別任務上表現出色。
• 適配器模型：利用適配器模型，可以方便地切換不同語言的識別模式。

📦 安裝指南

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要安裝至少 transformers >= 4.30 版本。如果 4.30 版本尚未在 PyPI 上發佈，請從源代碼安裝 transformers：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基礎用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

# 加載英語音頻樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加載模型和處理器
model_id = "facebook/mms-1b-all"
processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 處理音頻數據
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

# 模型推理
with torch.no_grad():
    outputs = model(**inputs).logits

# 解碼輸出
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

高級用法

# 加載法語音頻樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

# 切換到法語識別模式
processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

# 處理法語音頻數據
inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

# 模型推理
with torch.no_grad():
    outputs = model(**inputs).logits

# 解碼輸出
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

📚 詳細文檔

支持的語言

本模型支持1162種語言。點擊下面的展開按鈕查看所有支持的語言的 ISO 639-3代碼。你可以在 MMS語言覆蓋概述 中找到關於這些語言及其ISO 649-3代碼的更多詳細信息。

模型詳情

@article{pratap2023mms,
  title={Scaling Speech Technology to 1,000+ Languages},
  author={Vineel Pratap and Andros Tjandra and Bowen Shi and Paden Tomasello and Arun Babu and Sayani Kundu and Ali Elkahky and Zhaoheng Ni and Apoorv Vyas and Maryam Fazel-Zarandi and Alexei Baevski and Yossi Adi and Xiaohui Zhang and Wei-Ning Hsu and Alexis Conneau and Michael Auli},
  journal={arXiv},
  year={2023}
}

📄 許可證

本模型採用CC-BY-NC 4.0許可證。

🔗 其他鏈接

• 博客文章
• Transformers文檔
• 論文
• GitHub倉庫
• 其他 MMS 檢查點
  • facebook/mms-1b
  • facebook/mms-300m
• 官方演示