Mms Lid 4017

🚀 大规模多语言语音 (MMS) - 微调后的语言识别模型

本检查点是一个针对语音语言识别 (LID) 进行微调的模型，是 Facebook 大规模多语言语音项目 的一部分。该检查点基于 Wav2Vec2 架构，可将原始音频输入分类为 4017 个输出类别的概率分布（每个类别代表一种语言）。该检查点包含 10 亿个参数，并在 4017 种语言上从 facebook/mms-1b 进行了微调。

🚀 快速开始

这个 MMS 检查点可以与 Transformers 一起使用，以识别音频的语言。它可以识别 以下 4017 种语言。

让我们看一个简单的例子。

首先，我们安装 transformers 和其他一些库：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

注意：为了使用 MMS，你需要至少安装 transformers >= 4.30。如果 PyPI 上还没有 4.30 版本，请确保从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

接下来，我们通过 datasets 加载一些音频样本。确保音频数据的采样率为 16000 kHz。

from datasets import load_dataset, Audio

# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 阿拉伯语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

然后，我们加载模型和处理器：

from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-4017"

processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

现在，我们处理音频数据，将处理后的音频数据传递给模型，以将其分类为某种语言，就像我们通常对 Wav2Vec2 音频分类模型（如 ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition）所做的那样：

# 英语
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'eng'

# 阿拉伯语
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'ara'

要查看检查点支持的所有语言，可以按如下方式打印语言 ID：

processor.id2label.values()

有关架构的更多详细信息，请参阅 官方文档。

✨ 主要特性

• 支持 4017 种语言的语音语言识别。
• 基于 Wav2Vec2 架构，具有良好的性能和泛化能力。
• 经过微调，可准确识别多种语言的语音。

📦 安装指南

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

若 transformers 版本未达 4.30，可从源码安装：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基础用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

# 加载英语和阿拉伯语音频样本
# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 阿拉伯语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

# 加载模型和处理器
model_id = "facebook/mms-lid-4017"
processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

# 英语音频处理与识别
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
print(f"英语音频识别结果: {detected_lang}")

# 阿拉伯语音频处理与识别
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
print(f"阿拉伯语音频识别结果: {detected_lang}")

高级用法

# 可根据实际需求扩展，例如批量处理音频文件，或结合其他音频处理技术进行更复杂的应用
# 这里仅为示例，展示如何批量处理多个音频样本
import os
from datasets import Audio
from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-4017"
processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

audio_folder = "your_audio_folder"  # 替换为实际的音频文件夹路径
audio_files = [os.path.join(audio_folder, f) for f in os.listdir(audio_folder) if f.endswith(('.wav', '.mp3'))]

for audio_file in audio_files:
    audio = Audio(sampling_rate=16000)
    audio_sample = audio.decode_example({'path': audio_file})["array"]
    inputs = processor(audio_sample, sampling_rate=16_000, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs).logits
    lang_id = torch.argmax(outputs, dim=-1)[0].item()
    detected_lang = model.config.id2label[lang_id]
    print(f"{audio_file} 的识别结果: {detected_lang}")

📚 详细文档

有关架构的更多详细信息，请参阅 官方文档。

🔧 技术细节

• 模型架构：基于 Wav2Vec2 架构，该架构在语音处理领域表现出色，能够有效提取音频特征。
• 微调过程：在 4017 种语言上从 facebook/mms-1b 进行了微调，通过大量的训练数据和优化算法，使得模型能够准确识别多种语言的语音。
• 参数规模：该检查点包含 10 亿个参数，足够的参数规模保证了模型的表达能力和泛化能力。

📄 许可证

本模型遵循 CC-BY-NC-4.0 许可证。

支持的语言

本模型支持 4017 种语言。点击下面的展开按钮查看此检查点支持的所有 ISO 639 - 3 代码 语言。你可以在 MMS 语言覆盖概述 中找到有关这些语言及其 ISO 649 - 3 代码的更多详细信息。