Mms 1b L1107

🚀 大规模多语言语音（MMS） - 微调后的自动语音识别 - L1107

本检查点是一个针对多语言自动语音识别（ASR）进行微调的模型，是Facebook 大规模多语言语音项目 的一部分。该检查点基于 Wav2Vec2架构，并利用适配器模型来转录1000多种语言。该检查点包含 10亿个参数，是在1107种语言上对 facebook/mms-1b 进行微调得到的。

🚀 快速开始

这个MMS检查点可以与 Transformers 一起使用，来转录1107种不同语言的音频。下面来看一个简单的示例。

首先，我们安装 transformers 和其他一些库：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

为了使用MMS，你需要至少安装 transformers >= 4.30。如果 4.30 版本还未在 PyPI 上发布，请确保从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

接下来，我们通过 datasets 加载一些音频样本。确保音频数据的采样率为16000 kHz。

from datasets import load_dataset, Audio

# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 法语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

然后，我们加载模型和处理器：

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

现在，我们处理音频数据，将处理后的音频数据传入模型，并对模型输出进行转录，就像我们通常对 facebook/wav2vec2-base-960h 等Wav2Vec2模型所做的那样：

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

我们现在可以将同一个模型保留在内存中，并通过为模型调用方便的 load_adapter() 函数和为分词器调用 set_target_lang() 函数来简单地切换语言适配器。我们将目标语言作为输入传入 - 对于法语是 "fra"。

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

以同样的方式，可以为所有其他支持的语言切换语言。请查看：

processor.tokenizer.vocab.keys()

有关更多详细信息，请查看 官方文档。

✨ 主要特性

• 多语言支持：支持1107种语言的自动语音识别。
• 基于Wav2Vec2架构：利用适配器模型实现多语言转录。
• 大规模参数：模型包含10亿个参数，经过在1107种语言上的微调。

💻 使用示例

基础用法

# 首先，我们安装必要的库
pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

# 加载数据集
from datasets import load_dataset, Audio

# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加载模型和处理器
from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 处理音频数据并转录
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

高级用法

# 切换语言适配器以处理不同语言的音频
processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

# 加载法语音频样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

# 处理法语音频数据并转录
inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

📚 详细文档

你可以在以下链接找到更多关于该模型的详细文档：

• Transformers文档

🔧 技术细节

• 模型架构：基于 Wav2Vec2架构，使用适配器模型实现多语言转录。
• 训练数据：该模型在1107种语言的数据集上进行了微调，部分数据来自 google/fleurs。
• 评估指标：使用字错误率（WER）作为评估指标。

📄 许可证

该模型遵循CC-BY-NC 4.0许可证。

📦 支持的语言

此模型支持1107种语言。点击下面的展开按钮查看此检查点支持的所有语言的 ISO 639-3代码。你可以在 MMS语言覆盖概述 中找到有关这些语言及其ISO 649-3代码的更多详细信息。

📋 模型详情

🔗 更多链接

• 博客文章
• Transformers文档
• 论文
• GitHub仓库
• 其他 MMS 检查点
• MMS基础检查点：
  • facebook/mms-1b
  • facebook/mms-300m
• 官方空间