Stt Kr Conformer Transducer Large

🚀 音声自動認識モデル stt_kr_conformer_transducer_large

このモデルは韓国語の音声自動認識に特化したConformer-Transducerモデルです。NVIDIA NeMoツールキットを利用して訓練され、高精度な音声認識を実現します。

🚀 クイックスタート

このモデルを使用するには、まずNVIDIA NeMoをインストールする必要があります。最新バージョンのPytorchをインストールした後に、以下のコマンドでNeMoをインストールすることをおすすめします。

pip install nemo_toolkit['all']

✨ 主な機能

• 韓国語の音声自動認識に特化したConformer-Transducerモデル
• NVIDIA NeMoツールキットを利用した訓練と推論が可能
• 事前学習済みのチェックポイントを使用して、他のデータセットでの微調整が可能

📦 インストール

このモデルを使用するには、まずNVIDIA NeMoをインストールする必要があります。最新バージョンのPytorchをインストールした後に、以下のコマンドでNeMoをインストールすることをおすすめします。

pip install nemo_toolkit['all']

💻 使用例

基本的な使用法

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained("eesungkim/stt_kr_conformer_transducer_large")

音声ファイルのダウンロード

wget https://dldata-public.s3.us-east-2.amazonaws.com/sample-kor.wav

音声ファイルの文字起こし

asr_model.transcribe(['sample-kor.wav'])

複数の音声ファイルの文字起こし

python [NEMO_GIT_FOLDER]/examples/asr/transcribe_speech.py  pretrained_name="eesungkim/stt_kr_conformer_transducer_large"  audio_dir="<DIRECTORY CONTAINING AUDIO FILES>"

📚 ドキュメント

入力

このモデルは16000 KHzのモノラルチャンネル音声（wavファイル）を入力として受け付けます。

出力

このモデルは与えられた音声サンプルに対して、文字起こしされた音声を文字列として提供します。

🔧 技術詳細

Conformer-Transducerモデルは、自動音声認識のためのConformerモデル [2] の自己回帰バリアントであり、Transducer損失/デコードを使用しています。このモデルの詳細については、Conformer-Transducer Model を参照してください。

訓練

このモデルは、事前学習済みの英語モデルをベースに、数エポックにわたって微調整されました。

韓国語の音声認識には、いくつかの文字起こしとサブワードモデリングの方法があります。このモデルは、Google Sentencepiece Tokenizer [3] を使用した音声記録に基づくハングル文字のsentencepieceサブワードを使用しています。

データセット

このコレクションのすべてのモデルは、Ksponspeech データセットで訓練されています。これは、2000人の韓国語ネイティブ話者によって録音されたオープンドメインの対話コーパスで、コントロールされた静かな環境で収録されています。標準的な分割データセットは、965時間の訓練セット、4時間の開発セット、3時間のテストクリーン、および4時間のテストオザマから構成されています。

📊 パフォーマンス

⚠️ 制限事項

このモデルは公開されている音声データセットで訓練されているため、モデルが訓練されていない専門用語や方言を含む音声に対しては、パフォーマンスが低下する可能性があります。また、アクセントのある音声に対しても、パフォーマンスが低下する可能性があります。

このモデルは口語形式のトークンシーケンスを生成します。書面形式が必要な場合は、逆テキスト正規化を適用することを検討してください。

📄 ライセンス

このモデルはCC BY 4.0ライセンスの下で提供されています。

📖 参考文献

[1] NVIDIA NeMo Toolkit

[2] Conformer: Convolution-augmented Transformer for Speech Recognition

[3] Google Sentencepiece Tokenizer