Stt Rw Conformer Transducer Large

🚀 NVIDIA Conformer-Transducer Large (Kinyarwanda)

本模型用於將語音轉錄為包含空格和撇號的小寫拉丁字母，它在約2000小時的盧旺達語語音數據上進行訓練。這是Conformer的非自迴歸“大型”變體，約有1.2億個參數。如需瞭解完整的架構細節，請參閱模型架構部分和NeMo文檔。

| | |

🚀 快速開始

本模型可在NeMo工具包[3]中使用，可作為預訓練檢查點用於推理或在其他數據集上進行微調。

若要訓練、微調或使用該模型，你需要安裝NVIDIA NeMo。建議在安裝最新版本的PyTorch之後再安裝它。

pip install nemo_toolkit['all']

✨ 主要特性

• 可將語音準確轉錄為小寫拉丁字母，支持空格和撇號。
• 基於Conformer的非自迴歸“大型”變體，參數約1.2億，性能強大。
• 可在NeMo工具包中使用，方便進行推理和微調。

📦 安裝指南

若要訓練、微調或使用該模型，你需要安裝NVIDIA NeMo。建議在安裝最新版本的PyTorch之後再安裝它。

pip install nemo_toolkit['all']

💻 使用示例

基礎用法

自動實例化模型：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecRNNTBPEModel.from_pretrained("nvidia/stt_rw_conformer_transducer_large")

高級用法

轉錄單個音頻文件

output = asr_model.transcribe(['sample.wav'])
print(output[0].text)

轉錄多個音頻文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/stt_rw_conformer_transducer_large" 
 audio_dir="<DIRECTORY CONTAINING AUDIO FILES>"

📚 詳細文檔

模型架構

Conformer-Transducer模型是用於自動語音識別的Conformer模型[1]的自迴歸變體，它使用Transducer損失/解碼。你可以在Conformer-Transducer模型中找到有關該模型詳細信息。

訓練

NeMo工具包[3]用於對模型進行數百個週期的訓練。這些模型使用示例腳本和基礎配置進行訓練。

我們使用的詞彙表包含28個字符：

[' ', "'", 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z']

在預處理過程中，帶有變音符號的稀有符號被替換。

這些模型的分詞器是使用訓練集的文本轉錄，通過腳本構建的。 對於大小為1024的詞彙表，我們將最大子詞長度限制為4個符號，以避免詞彙表中充斥著數據集中特定的常用詞。這不會影響模型性能，並且有可能在不重新訓練分詞器的情況下適應其他領域。

完整配置可以在.nemo文件中找到。

數據集

本集合中的所有模型均在MCV - 9.0盧旺達語數據集上進行訓練，該數據集包含約2000小時的訓練語音音頻、32小時的開發語音音頻和32小時的測試語音音頻。

性能

本集合中可用模型的列表如下表所示。自動語音識別（ASR）模型的性能以貪心解碼的詞錯誤率（WER%）報告。

侷限性

由於該模型是在公開可用的語音數據集上訓練的，對於包含技術術語或模型未訓練過的方言的語音，其性能可能會下降。對於帶有口音的語音，模型的表現可能也會更差。

使用NVIDIA Riva進行部署

NVIDIA Riva是一個加速語音AI SDK，可在本地、所有云、多雲、混合雲、邊緣和嵌入式設備上部署。 此外，Riva還提供：

• 針對最常見語言的一流開箱即用準確性，其模型檢查點在專有數據上進行了數十萬小時的GPU計算訓練。
• 具有運行時單詞增強（例如品牌和產品名稱）以及聲學模型、語言模型和逆文本規範化定製的一流準確性。
• 流式語音識別、Kubernetes兼容擴展和企業級支持。

雖然Riva目前尚不支持此模型，但支持的模型列表在此。 查看Riva即時演示。

📄 許可證

本模型使用的許可證為CC - BY - 4.0。

🔗 參考資料

• [1] Conformer: Convolution - augmented Transformer for Speech Recognition
• [2] Google Sentencepiece Tokenizer
• [3] NVIDIA NeMo Toolkit