Mms 1b All

🚀 大规模多语言语音（MMS） - 微调后的自动语音识别 - 全语言支持

本模型是一个针对多语言自动语音识别（ASR）进行微调的模型，是Facebook 大规模多语言语音项目 的一部分。该模型基于 Wav2Vec2架构，并利用适配器模型实现对1000多种语言的转录。此检查点包含 10亿个参数，是在1162种语言上对 facebook/mms-1b 进行微调得到的。

🚀 快速开始

本MMS检查点可与 Transformers 库结合使用，对1107种不同语言的音频进行转录。下面是一个简单的示例。

首先，安装 transformers 及其他必要的库：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要安装至少 transformers >= 4.30 版本。如果 4.30 版本尚未在 PyPI 上发布，请从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

接下来，通过 datasets 库加载一些音频样本。请确保音频数据的采样率为16000 kHz。

from datasets import load_dataset, Audio

# 英语样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 法语样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

然后，加载模型和处理器：

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-all"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

现在，处理音频数据，将处理后的音频数据输入模型，并对模型输出进行转录，就像处理 facebook/wav2vec2-base-960h 等Wav2Vec2模型一样：

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

我们可以将模型保留在内存中，通过调用便捷的 load_adapter() 函数为模型加载语言适配器，并使用 set_target_lang() 函数为分词器设置目标语言。例如，将目标语言设置为法语（"fra"）：

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

以同样的方式，可以为所有支持的语言切换语言适配器。你可以查看以下代码获取支持的语言列表：

processor.tokenizer.vocab.keys()

更多详细信息，请参考 官方文档。

✨ 主要特性

• 多语言支持：该模型支持1162种语言，能够满足不同语言环境下的语音识别需求。
• 微调优化：基于Wav2Vec2架构进行微调，在多语言语音识别任务上表现出色。
• 适配器模型：利用适配器模型，可以方便地切换不同语言的识别模式。

📦 安装指南

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要安装至少 transformers >= 4.30 版本。如果 4.30 版本尚未在 PyPI 上发布，请从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基础用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

# 加载英语音频样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加载模型和处理器
model_id = "facebook/mms-1b-all"
processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 处理音频数据
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

# 模型推理
with torch.no_grad():
    outputs = model(**inputs).logits

# 解码输出
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

高级用法

# 加载法语音频样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

# 切换到法语识别模式
processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

# 处理法语音频数据
inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

# 模型推理
with torch.no_grad():
    outputs = model(**inputs).logits

# 解码输出
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

📚 详细文档

支持的语言

本模型支持1162种语言。点击下面的展开按钮查看所有支持的语言的 ISO 639-3代码。你可以在 MMS语言覆盖概述 中找到关于这些语言及其ISO 649-3代码的更多详细信息。

模型详情

@article{pratap2023mms,
  title={Scaling Speech Technology to 1,000+ Languages},
  author={Vineel Pratap and Andros Tjandra and Bowen Shi and Paden Tomasello and Arun Babu and Sayani Kundu and Ali Elkahky and Zhaoheng Ni and Apoorv Vyas and Maryam Fazel-Zarandi and Alexei Baevski and Yossi Adi and Xiaohui Zhang and Wei-Ning Hsu and Alexis Conneau and Michael Auli},
  journal={arXiv},
  year={2023}
}

📄 许可证

本模型采用CC-BY-NC 4.0许可证。

🔗 其他链接

• 博客文章
• Transformers文档
• 论文
• GitHub仓库
• 其他 MMS 检查点
  • facebook/mms-1b
  • facebook/mms-300m
• 官方演示