Indicconformer Stt As Hybrid Ctc Rnnt Large

🚀 IndicConformer

IndicConformer是一個混合CTC - RNNT的Conformer自動語音識別（ASR）模型，可有效處理語音識別任務，將音頻準確轉錄為文本。

🚀 快速開始

安裝依賴

要加載、訓練、微調或使用該模型，你需要安裝 AI4Bharat NeMo。建議使用以下命令進行安裝：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

模型使用

下載並加載模型

從Huggingface下載並加載模型：

import torch
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_as_hybrid_rnnt_large")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.freeze() # 推理模式
model = model.to(device) # 將模型轉移到設備上

準備音頻文件

在終端中運行以下命令，將音頻轉換為16000 Hz單聲道：

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav

使用CTC解碼器進行推理

model.cur_decoder = "ctc"
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1,logprobs=False, language_id='as')[0]
print(ctc_text)

使用RNNT解碼器進行推理

model.cur_decoder = "rnnt"
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='as')[0]
print(rnnt_text)

✨ 主要特性

語言支持

支持阿薩姆語（Assamese）的語音識別。

輸入要求

該模型接受16000 KHz的單聲道音頻（wav文件）作為輸入。

輸出形式

該模型會為給定的音頻樣本輸出轉錄後的語音文本字符串。

🔧 技術細節

模型架構

該模型是一個Conformer - Large模型，使用包含1.2億個參數的編碼器和混合CTC - RNNT解碼器。模型包含17個Conformer塊，模型維度為512。

📄 許可證

本項目採用MIT許可證。