Stt Ru Conformer Transducer Large

🚀 NVIDIA Conformer-Transducer Large (俄語)

該模型可將語音轉錄為包含空格的小寫西裡爾字母，基於約1636小時的俄語語音數據進行訓練。

| | |

本模型能夠將語音轉錄為包含空格的小寫西裡爾字母，它在約1636小時的俄語語音數據上進行了訓練。它是Conformer的非自迴歸“大型”變體，約有1.2億個參數。有關完整的架構細節，請參閱模型架構部分和NeMo文檔。

🚀 快速開始

本模型可在NeMo工具包[3]中使用，可作為預訓練檢查點用於推理，或在其他數據集上進行微調。

若要訓練、微調或使用該模型，你需要安裝NVIDIA NeMo。我們建議你在安裝最新版本的PyTorch之後再安裝它。

pip install nemo_toolkit['all']

✨ 主要特性

• 多數據集訓練：在多個俄語語音數據集上進行訓練，包括Mozilla Common Voice 10.0、SberDevices/Golos、Russian-LibriSpeech和SOVA-Dataset等。
• 非自迴歸架構：採用Conformer的非自迴歸“大型”變體，約有1.2億個參數。
• 易於使用：可在NeMo工具包中使用，支持自動實例化模型和轉錄語音。

📦 安裝指南

若要訓練、微調或使用該模型，你需要安裝NVIDIA NeMo。我們建議你在安裝最新版本的PyTorch之後再安裝它。

pip install nemo_toolkit['all']

💻 使用示例

基礎用法

自動實例化模型

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecRNNTBPEModel.from_pretrained("nvidia/stt_ru_conformer_transducer_large")

使用Python進行轉錄

output = asr_model.transcribe(['sample.wav'])
print(output[0].text)

轉錄多個音頻文件

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/stt_ru_conformer_transducer_large" 
 audio_dir="<DIRECTORY CONTAINING AUDIO FILES>"

高級用法

本模型接受16 kHz單聲道音頻（wav文件）作為輸入，並將轉錄後的語音作為字符串輸出。

📚 詳細文檔

模型架構

Conformer-Transducer模型是用於自動語音識別的Conformer模型[1]的自迴歸變體，它使用Transducer損失/解碼。你可以在此處找到有關該模型詳細信息：Conformer-Transducer模型。

訓練

NeMo工具包[3]用於對模型進行數百個epoch的訓練。這些模型使用此示例腳本和此基礎配置進行訓練。

我們使用的詞彙表包含33個字符：

[' ', 'а', 'б', 'в', 'г', 'д', 'е', 'ж', 'з', 'и', 'й', 'к', 'л', 'м', 'н', 'о', 'п', 'р', 'с', 'т', 'у', 'ф', 'х', 'ц', 'ч', 'ш', 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я']

在預處理過程中，帶有變音符號的稀有符號被替換。

這些模型的分詞器使用訓練集的文本轉錄，通過此腳本構建。

數據集

此集合中的所有模型均在複合數據集（NeMo ASRSET）上進行訓練，該數據集包含超過一千小時的俄語語音：

• Mozilla Common Voice 10.0（俄語） - 訓練子集[28小時]
• Golos - 眾包[1070小時]和遠場[111小時]子集
• Russian LibriSpeech（RuLS）[92小時]
• SOVA - RuAudiobooksDevices [260小時]和RuDevices [75小時]子集

性能

此集合中可用模型的列表如下表所示。ASR模型的性能以單詞錯誤率（WER%）報告，採用貪心解碼。

侷限性

由於此模型是在公開可用的語音數據集上訓練的，因此對於包含技術術語或模型未訓練過的方言的語音，其性能可能會下降。該模型對於帶有口音的語音的表現也可能較差。

使用NVIDIA Riva進行部署

NVIDIA Riva是一個加速語音AI SDK，可在本地、所有云、多雲、混合雲、邊緣和嵌入式設備上部署。此外，Riva還提供：

• 針對最常見語言的世界級開箱即用準確性，模型檢查點在專有數據上進行訓練，使用了數十萬小時的GPU計算資源。
• 一流的準確性，支持運行時單詞增強（例如品牌和產品名稱），並可自定義聲學模型、語言模型和逆文本歸一化。
• 流式語音識別、Kubernetes兼容的擴展和企業級支持。

雖然此模型目前不受Riva支持，但支持的模型列表在此處。請查看Riva即時演示。

📄 許可證

本項目採用CC BY 4.0許可證。

🔗 參考資料

• [1] Conformer: Convolution-augmented Transformer for Speech Recognition
• [2] Google Sentencepiece Tokenizer
• [3] NVIDIA NeMo Toolkit