Mms 1b L1107

🚀 大規模多語言語音（MMS） - 微調後的自動語音識別 - L1107

本檢查點是一個針對多語言自動語音識別（ASR）進行微調的模型，是Facebook 大規模多語言語音項目 的一部分。該檢查點基於 Wav2Vec2架構，並利用適配器模型來轉錄1000多種語言。該檢查點包含 10億個參數，是在1107種語言上對 facebook/mms-1b 進行微調得到的。

🚀 快速開始

這個MMS檢查點可以與 Transformers 一起使用，來轉錄1107種不同語言的音頻。下面來看一個簡單的示例。

首先，我們安裝 transformers 和其他一些庫：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

為了使用MMS，你需要至少安裝 transformers >= 4.30。如果 4.30 版本還未在 PyPI 上發佈，請確保從源代碼安裝 transformers：

pip install git+https://github.com/huggingface/transformers.git

接下來，我們通過 datasets 加載一些音頻樣本。確保音頻數據的採樣率為16000 kHz。

from datasets import load_dataset, Audio

# 英語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 法語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

然後，我們加載模型和處理器：

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

現在，我們處理音頻數據，將處理後的音頻數據傳入模型，並對模型輸出進行轉錄，就像我們通常對 facebook/wav2vec2-base-960h 等Wav2Vec2模型所做的那樣：

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

我們現在可以將同一個模型保留在內存中，並通過為模型調用方便的 load_adapter() 函數和為分詞器調用 set_target_lang() 函數來簡單地切換語言適配器。我們將目標語言作為輸入傳入 - 對於法語是 "fra"。

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

以同樣的方式，可以為所有其他支持的語言切換語言。請查看：

processor.tokenizer.vocab.keys()

有關更多詳細信息，請查看 官方文檔。

✨ 主要特性

• 多語言支持：支持1107種語言的自動語音識別。
• 基於Wav2Vec2架構：利用適配器模型實現多語言轉錄。
• 大規模參數：模型包含10億個參數，經過在1107種語言上的微調。

💻 使用示例

基礎用法

# 首先，我們安裝必要的庫
pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

# 加載數據集
from datasets import load_dataset, Audio

# 英語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加載模型和處理器
from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 處理音頻數據並轉錄
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

高級用法

# 切換語言適配器以處理不同語言的音頻
processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

# 加載法語音頻樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

# 處理法語音頻數據並轉錄
inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

📚 詳細文檔

你可以在以下鏈接找到更多關於該模型的詳細文檔：

• Transformers文檔

🔧 技術細節

• 模型架構：基於 Wav2Vec2架構，使用適配器模型實現多語言轉錄。
• 訓練數據：該模型在1107種語言的數據集上進行了微調，部分數據來自 google/fleurs。
• 評估指標：使用字錯誤率（WER）作為評估指標。

📄 許可證

該模型遵循CC-BY-NC 4.0許可證。

📦 支持的語言

此模型支持1107種語言。點擊下面的展開按鈕查看此檢查點支持的所有語言的 ISO 639-3代碼。你可以在 MMS語言覆蓋概述 中找到有關這些語言及其ISO 649-3代碼的更多詳細信息。

📋 模型詳情

🔗 更多鏈接

• 博客文章
• Transformers文檔
• 論文
• GitHub倉庫
• 其他 MMS 檢查點
• MMS基礎檢查點：
  • facebook/mms-1b
  • facebook/mms-300m
• 官方空間