Indicconformer Stt Gu Hybrid Ctc Rnnt Large

🚀 IndicConformer

IndicConformerは、ハイブリッドCTC - RNNTコンフォーマーの自動音声認識（ASR: Automatic Speech Recognition）モデルです。このモデルは、特定の音声サンプルに対して高精度な音声文字起こしを行うことができ、音声関連のアプリケーションに役立ちます。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールし、モデルをロードして、音声ファイルを準備します。その後、CTCデコーダまたはRNNTデコーダを使用して推論を行うことができます。

✨ 主な機能

• 言語対応：グジャラート語に対応しています。
• 入力形式：16000 KHzのモノラルチャンネルオーディオ（wavファイル）を入力として受け付けます。
• 出力形式：与えられた音声サンプルに対して、文字起こしされた音声を文字列として提供します。

📦 インストール

このモデルを使用するには、AI4Bharat NeMoをインストールする必要があります。以下のコマンドを使用してインストールすることをおすすめします。

git clone https://github.com/AI4Bharat/NeMo.git && cd NeMo && git checkout nemo-v2 && bash reinstall.sh

💻 使用例

基本的な使用法

モデルをHuggingfaceからダウンロードしてロードします。

import torch
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained("ai4bharat/indicconformer_stt_gu_hybrid_rnnt_large")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.freeze() # inference mode
model = model.to(device) # transfer model to device

ターミナルで以下のコマンドを実行して、音声ファイルを準備します。これにより、音声が16000 Hzかつモノチャンネルに変換されます。

ffmpeg -i sample_audio.wav -ac 1 -ar 16000 sample_audio_infer_ready.wav

高度な使用法

CTCデコーダを使用した推論

model.cur_decoder = "ctc"
ctc_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1,logprobs=False, language_id='gu')[0]
print(ctc_text)

RNNTデコーダを使用した推論

model.cur_decoder = "rnnt"
rnnt_text = model.transcribe(['sample_audio_infer_ready.wav'], batch_size=1, language_id='gu')[0]
print(rnnt_text)

📚 ドキュメント

モデルの言語

グジャラート語

モデルの入力

このモデルは、16000 KHzのモノラルチャンネルオーディオ（wavファイル）を入力として受け付けます。

モデルの出力

このモデルは、与えられた音声サンプルに対して、文字起こしされた音声を文字列として提供します。

モデルのアーキテクチャ

このモデルは、エンコーダとして120Mのパラメータを持つコンフォーマー - Largeモデルで、ハイブリッドCTC - RNNTデコーダを備えています。モデルは17個のコンフォーマーブロックから構成され、モデル次元は512です。

🔧 技術詳細

このモデルは、コンフォーマー - Largeモデルをエンコーダとして使用し、ハイブリッドCTC - RNNTデコーダを備えています。エンコーダは120Mのパラメータを持ち、17個のコンフォーマーブロックから構成されています。モデル次元は512です。この構成により、グジャラート語の音声認識において高精度な結果を得ることができます。

📄 ライセンス

このモデルは、MITライセンスの下で提供されています。