Indicconformer Stt Ta Hybrid Ctc Rnnt Large

🚀 印度语融合模型（IndicConformer）

IndicConformer 是一个混合 CTC - RNNT 的融合自动语音识别（ASR）模型，可有效处理语音识别任务，为语音转录提供高效解决方案。

🚀 快速开始

要加载、训练、微调或使用该模型，你需要安装 AI4Bharat NeMo。建议使用以下命令进行安装：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

✨ 主要特性

• 语言支持：支持泰米尔语。
• 输入要求：该模型接受 16000 KHz 的单声道音频（wav 文件）作为输入。
• 输出形式：该模型会为给定的音频样本输出转录后的语音字符串。

📚 详细文档

模型架构

该模型是一个融合大模型（conformer - Large），由 1.2 亿个参数组成，用作编码器，并配备了混合 CTC - RNNT 解码器。模型包含 17 个融合块，模型维度为 512。

AI4Bharat NeMo

要加载、训练、微调或使用该模型，你需要安装 AI4Bharat NeMo。建议使用以下命令进行安装：

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

💻 使用示例

基础用法

从 Huggingface 下载并加载模型：

import torch
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_ta_hybrid_rnnt_large")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.freeze() # 推理模式
model = model.to(device) # 将模型转移到设备上

在终端中运行以下命令准备音频文件，这会将音频转换为 16000 Hz 的单声道音频：

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav

高级用法

使用 CTC 解码器进行推理

model.cur_decoder = "ctc"
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1,logprobs=False, language_id='ta')[0]
print(ctc_text)

使用 RNNT 解码器进行推理

model.cur_decoder = "rnnt"
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='ta')[0]
print(rnnt_text)

📄 许可证

本项目采用 MIT 许可证。