Indicconformer Stt Mr Hybrid Ctc Rnnt Large

🚀 印度語融合模型（IndicConformer）

IndicConformer 是一個混合 CTC - RNNT 的融合自動語音識別（ASR）模型，能夠高效準確地將語音轉換為文本，為語音識別領域提供了強大的解決方案。

🚀 快速開始

要加載、訓練、微調或使用該模型，你需要安裝 AI4Bharat NeMo。我們建議使用以下命令進行安裝：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

✨ 主要特性

• 語言支持：支持馬拉地語（Marathi）。
• 輸入要求：該模型接受 16000 KHz 的單聲道音頻（wav 文件）作為輸入。
• 輸出形式：該模型為給定的音頻樣本提供轉錄後的語音字符串。

📦 安裝指南

要使用該模型，你需要安裝 AI4Bharat NeMo，安裝命令如下：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

💻 使用示例

基礎用法

從 Huggingface 下載並加載模型：

import torch
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_mr_hybrid_rnnt_large")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.freeze() # inference mode
model = model.to(device) # transfer model to device

在終端中運行以下命令準備音頻文件，這將把音頻轉換為 16000 Hz 和單聲道：

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav

高級用法

使用 CTC 解碼器進行推理

model.cur_decoder = "ctc"
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1,logprobs=False, language_id='mr')[0]
print(ctc_text)

使用 RNNT 解碼器進行推理

model.cur_decoder = "rnnt"
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='mr')[0]
print(rnnt_text)

🔧 技術細節

該模型是一個融合大型模型，由 1.2 億個參數組成，作為編碼器，並配有混合 CTC - RNNT 解碼器。該模型有 17 個融合塊，模型維度為 512。

📄 許可證

本項目採用 MIT 許可證。