Stt Rw Conformer Transducer Large

🚀 NVIDIA Conformer-Transducer Large (Kinyarwanda)

本模型用于将语音转录为包含空格和撇号的小写拉丁字母，它在约2000小时的卢旺达语语音数据上进行训练。这是Conformer的非自回归“大型”变体，约有1.2亿个参数。如需了解完整的架构细节，请参阅模型架构部分和NeMo文档。

| | |

🚀 快速开始

本模型可在NeMo工具包[3]中使用，可作为预训练检查点用于推理或在其他数据集上进行微调。

若要训练、微调或使用该模型，你需要安装NVIDIA NeMo。建议在安装最新版本的PyTorch之后再安装它。

pip install nemo_toolkit['all']

✨ 主要特性

• 可将语音准确转录为小写拉丁字母，支持空格和撇号。
• 基于Conformer的非自回归“大型”变体，参数约1.2亿，性能强大。
• 可在NeMo工具包中使用，方便进行推理和微调。

📦 安装指南

若要训练、微调或使用该模型，你需要安装NVIDIA NeMo。建议在安装最新版本的PyTorch之后再安装它。

pip install nemo_toolkit['all']

💻 使用示例

基础用法

自动实例化模型：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecRNNTBPEModel.from_pretrained("nvidia/stt_rw_conformer_transducer_large")

高级用法

转录单个音频文件

output = asr_model.transcribe(['sample.wav'])
print(output[0].text)

转录多个音频文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/stt_rw_conformer_transducer_large" 
 audio_dir="<DIRECTORY CONTAINING AUDIO FILES>"

📚 详细文档

模型架构

Conformer-Transducer模型是用于自动语音识别的Conformer模型[1]的自回归变体，它使用Transducer损失/解码。你可以在Conformer-Transducer模型中找到有关该模型详细信息。

训练

NeMo工具包[3]用于对模型进行数百个周期的训练。这些模型使用示例脚本和基础配置进行训练。

我们使用的词汇表包含28个字符：

[' ', "'", 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z']

在预处理过程中，带有变音符号的稀有符号被替换。

这些模型的分词器是使用训练集的文本转录，通过脚本构建的。 对于大小为1024的词汇表，我们将最大子词长度限制为4个符号，以避免词汇表中充斥着数据集中特定的常用词。这不会影响模型性能，并且有可能在不重新训练分词器的情况下适应其他领域。

完整配置可以在.nemo文件中找到。

数据集

本集合中的所有模型均在MCV - 9.0卢旺达语数据集上进行训练，该数据集包含约2000小时的训练语音音频、32小时的开发语音音频和32小时的测试语音音频。

性能

本集合中可用模型的列表如下表所示。自动语音识别（ASR）模型的性能以贪心解码的词错误率（WER%）报告。

局限性

由于该模型是在公开可用的语音数据集上训练的，对于包含技术术语或模型未训练过的方言的语音，其性能可能会下降。对于带有口音的语音，模型的表现可能也会更差。

使用NVIDIA Riva进行部署

NVIDIA Riva是一个加速语音AI SDK，可在本地、所有云、多云、混合云、边缘和嵌入式设备上部署。 此外，Riva还提供：

• 针对最常见语言的一流开箱即用准确性，其模型检查点在专有数据上进行了数十万小时的GPU计算训练。
• 具有运行时单词增强（例如品牌和产品名称）以及声学模型、语言模型和逆文本规范化定制的一流准确性。
• 流式语音识别、Kubernetes兼容扩展和企业级支持。

虽然Riva目前尚不支持此模型，但支持的模型列表在此。 查看Riva实时演示。

📄 许可证

本模型使用的许可证为CC - BY - 4.0。

🔗 参考资料

• [1] Conformer: Convolution - augmented Transformer for Speech Recognition
• [2] Google Sentencepiece Tokenizer
• [3] NVIDIA NeMo Toolkit