Stt Ru Conformer Ctc Large

🚀 NVIDIA Conformer-CTC Large (Russian)

このモデルは、音声をスペースを含む小文字のキリル文字に文字起こしし、約1636時間のロシア語の音声データで学習されています。Conformerの非自己回帰型の「大型」バリアントで、約1億2000万のパラメータを持っています。完全なアーキテクチャの詳細については、モデルアーキテクチャセクションとNeMoドキュメントを参照してください。

| | |

🚀 クイックスタート

このモデルは、NeMoツールキット [3] で使用でき、推論用の事前学習済みチェックポイントとして、または別のデータセットでの微調整に使用できます。

モデルを学習、微調整、または試すには、NVIDIA NeMo をインストールする必要があります。最新バージョンのPyTorchをインストールした後に、NeMoをインストールすることをおすすめします。

pip install nemo_toolkit['all']

✨ 主な機能

• 音声を小文字のキリル文字に文字起こしする機能
• 非自己回帰型のConformerモデルで、高速な推論が可能
• NeMoツールキットでの使用が可能で、微調整も容易

📦 インストール

モデルを学習、微調整、または試すには、NVIDIA NeMo をインストールする必要があります。最新バージョンのPyTorchをインストールした後に、NeMoをインストールすることをおすすめします。

pip install nemo_toolkit['all']

💻 使用例

基本的な使用法

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(model_name="stt_ru_conformer_ctc_large")

高度な使用法

単一の音声ファイルを文字起こしする

output = asr_model.transcribe(['sample.wav'])
print(output[0].text)

複数の音声ファイルを文字起こしする

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py 
 pretrained_name="nvidia/stt_ru_conformer_ctc_large" 
 audio_dir="<DIRECTORY CONTAINING AUDIO FILES>"

📚 ドキュメント

入力

このモデルは、16 kHzのモノラルチャンネルの音声（wavファイル）を入力として受け付けます。

出力

このモデルは、与えられた音声サンプルに対して、文字起こしされた音声を文字列として提供します。

🔧 技術詳細

モデルアーキテクチャ

Conformer-CTCモデルは、自動音声認識用のConformerモデル [1] の非自己回帰型バリアントで、Transducerの代わりにCTC損失/デコードを使用しています。このモデルの詳細については、Conformer-CTC Model を参照してください。

学習

NeMoツールキット [3] を使用して、数百エポック以上の学習を行いました。これらのモデルは、このサンプルスクリプトとこの基本設定で学習されています。

これらのモデルのトークナイザーは、学習セットのテキストトランスクリプトを使用して、このスクリプトで構築されています。

私たちが使用する語彙は33文字で構成されています。

[' ', 'а', 'б', 'в', 'г', 'д', 'е', 'ж', 'з', 'и', 'й', 'к', 'л', 'м', 'н', 'о', 'п', 'р', 'с', 'т', 'у', 'ф', 'х', 'ц', 'ч', 'ш', 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я']

学習前の前処理で、濁点付きの稀な記号は置き換えられました。

データセット

このコレクションのすべてのモデルは、1000時間以上のロシア語の音声から構成される複合データセット（NeMo ASRSET）で学習されています。

• Mozilla Common Voice 10.0 (Russian) - 学習サブセット [28時間]
• Golos - crowd [1070時間] および fairfield [111時間] サブセット
• Russian LibriSpeech (RuLS) [92時間]
• SOVA - RuAudiobooksDevices [260時間] および RuDevices [75時間] サブセット

📊 性能

このコレクションで利用可能なモデルのリストを次の表に示します。ASRモデルの性能は、貪欲デコードによる単語誤り率（WER%）で報告されています。

⚠️ 制限事項

このモデルは公開されている音声データセットで学習されているため、モデルが学習していない技術用語や方言を含む音声に対しては、性能が低下する可能性があります。また、アクセントのある音声に対しても、性能が低下する可能性があります。

🚀 NVIDIA Rivaでのデプロイ

最高のリアルタイム精度、レイテンシ、スループットを得るには、NVIDIA Riva でモデルをデプロイしてください。NVIDIA Rivaは、オンプレミス、すべてのクラウド、マルチクラウド、ハイブリッド、エッジ、および組み込み環境でデプロイ可能な高速化された音声AI SDKです。

また、Rivaは以下の機能を提供します。

• 数十万のGPUコンピュート時間で独自データを使用して学習されたモデルチェックポイントにより、最も一般的な言語で世界クラスの即時精度を提供
• 実行時の単語ブースト（例：ブランド名や製品名）と音響モデル、言語モデル、逆テキスト正規化のカスタマイズにより、最高クラスの精度を実現
• ストリーミング音声認識、Kubernetes互換のスケーリング、およびエンタープライズグレードのサポート

Rivaのライブデモをご覧ください。

📄 ライセンス

このモデルは、CC BY 4.0ライセンスの下で提供されています。

📖 参考文献

• [1] Conformer: Convolution-augmented Transformer for Speech Recognition
• [2] Google Sentencepiece Tokenizer
• [3] NVIDIA NeMo Toolkit