Mms Lid 1024

🚀 大規模多語言語音 (MMS) - 微調後的語言識別模型

本模型是一個針對語音語言識別（LID）進行微調的模型，是Facebook 大規模多語言語音項目 的一部分。該模型基於 Wav2Vec2架構，可將原始音頻輸入分類為1024種輸出類別的概率分佈（每個類別代表一種語言）。此檢查點包含 10億個參數，並在1024種語言上從 facebook/mms-1b 進行了微調。

🚀 快速開始

本MMS檢查點可與 Transformers 一起使用，以識別音頻的口語語言。它可以識別 以下1024種語言。

安裝依賴庫

首先，我們需要安裝 transformers 和其他一些庫：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要至少安裝 transformers >= 4.30。如果 4.30 版本尚未在 PyPI 上提供，請確保從源代碼安裝 transformers：

pip install git+https://github.com/huggingface/transformers.git

加載音頻樣本

接下來，我們通過 datasets 加載一些音頻樣本。請確保音頻數據的採樣率為16000 kHz。

from datasets import load_dataset, Audio

# 英語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 阿拉伯語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

加載模型和處理器

from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-1024"

processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

處理音頻數據並進行語言分類

現在我們處理音頻數據，將處理後的音頻數據傳遞給模型以將其分類為某種語言，就像我們通常對Wav2Vec2音頻分類模型（如 ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition）所做的那樣。

# 英語
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'eng'

# 阿拉伯語
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'ara'

查看支持的語言

要查看檢查點支持的所有語言，可以按如下方式打印語言ID：

processor.id2label.values()

有關架構的更多詳細信息，請查看 官方文檔。

✨ 主要特性

• 多語言支持：該模型支持1024種語言，能夠廣泛應用於不同語言環境下的語音識別任務。
• 微調模型：基於Wav2Vec2架構進行微調，針對語音語言識別任務進行了優化。

📦 安裝指南

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要至少安裝 transformers >= 4.30。如果 4.30 版本尚未在 PyPI 上提供，請確保從源代碼安裝 transformers：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基礎用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

# 加載音頻樣本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加載模型和處理器
model_id = "facebook/mms-lid-1024"
processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

# 處理音頻數據並進行語言分類
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
print(detected_lang)

高級用法

# 可以根據需要擴展代碼，處理多個音頻樣本或進行批量處理
# 這裡省略具體代碼，你可以根據實際需求進行編寫

📚 詳細文檔

有關架構的更多詳細信息，請查看 官方文檔。

🔧 技術細節

該模型基於 Wav2Vec2架構，通過在1024種語言上進行微調，實現了對多種語言的語音識別。模型將原始音頻輸入分類為1024種輸出類別的概率分佈，每個類別代表一種語言。

📄 許可證

本模型使用的許可證為 cc-by-nc-4.0。

支持的語言

本模型支持1024種語言。點擊下面的按鈕展開查看此檢查點支持的所有語言的 ISO 639-3代碼。你可以在 MMS語言覆蓋概述 中找到有關這些語言及其ISO 649-3代碼的更多詳細信息。

其他鏈接

• 博客文章
• Transformers文檔
• 論文
• GitHub倉庫
• 其他 MMS 檢查點
• MMS基礎檢查點：
  • facebook/mms-1b
  • facebook/mms-300m
• 官方空間