Asr Wav2vec2 Commonvoice Rw

🚀 wav2vec 2.0 with CTC/Attention trained on CommonVoice Kinyarwanda (No LM)

このリポジトリでは、SpeechBrain内でCommonVoice（キニヤルワンダ語）で事前学習されたエンドツーエンドシステムを使用して自動音声認識を行うために必要なすべてのツールを提供しています。より良い体験を得るために、SpeechBrainについてもっと学ぶことをおすすめします。

このモデルの性能は以下の通りです。

✨ 主な機能

🚀 クイックスタート

このASRシステムは、2つの異なるが関連するブロックで構成されています。

• トークナイザー（ユニグラム）：単語をサブワードユニットに変換し、CommonVoice（RW）のトレーニングトランスクリプト（train.tsv）を使用して学習されます。
• 音響モデル（wav2vec2.0 + CTC/Attention）：事前学習されたwav2vec 2.0モデル（wav2vec2-large-xlsr-53）が2つのDNN層と組み合わされ、CommonVoice Enでファインチューニングされます。得られた最終的な音響表現は、CTCおよびアテンションデコーダーに渡されます。

このシステムは、16kHzでサンプリングされた録音（単チャンネル）で学習されています。コードは、transcribe_fileを呼び出す際に必要に応じて自動的にオーディオを正規化します（すなわち、リサンプリング + モノチャンネル選択）。

📦 インストール

まず、以下のコマンドでtranformersとSpeechBrainをインストールしてください。

pip install speechbrain transformers

SpeechBrainについて詳しく学ぶことをおすすめします。

💻 使用例

基本的な使用法

from speechbrain.pretrained import EncoderDecoderASR

asr_model = EncoderDecoderASR.from_hparams(source="speechbrain/asr-wav2vec2-commonvoice-rw", savedir="pretrained_models/asr-wav2vec2-commonvoice-rw")
asr_model.transcribe_file("speechbrain/asr-wav2vec2-commonvoice-rw/example.mp3")

高度な使用法

GPUで推論を行うには、from_hparamsメソッドを呼び出す際にrun_opts={"device":"cuda"}を追加してください。

バッチでの並列推論については、このColabノートブックを参照して、事前学習されたモデルを使用して入力文のバッチを並列に文字起こしする方法を確認してください。

トレーニング

このモデルはSpeechBrainを使用して学習されました。最初から学習するには、以下の手順に従ってください。

1. SpeechBrainをクローンします。

git clone https://github.com/speechbrain/speechbrain/

2. インストールします。

cd speechbrain
pip install -r requirements.txt
pip install -e .

3. 学習を実行します。

cd recipes/CommonVoice/ASR/seq2seq
python train_with_wav2vec.py hparams/train_rw_with_wav2vec.yaml --data_folder=your_data_folder

学習結果（モデル、ログなど）はこちらで確認できます。

制限事項

SpeechBrainチームは、このモデルを他のデータセットで使用した場合の性能について一切保証しません。

📄 ライセンス

このモデルは、"apache-2.0"ライセンスの下で提供されています。

🔧 技術詳細

このモデルは、CommonVoice（キニヤルワンダ語）で事前学習されたエンドツーエンドの自動音声認識システムです。トークナイザーと音響モデルの組み合わせにより、音声を文字に変換します。

引用

研究やビジネスでSpeechBrainを使用する場合は、必ず引用してください。

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SpeechBrainについて

• ウェブサイト: https://speechbrain.github.io/
• コード: https://github.com/speechbrain/speechbrain/
• HuggingFace: https://huggingface.co/speechbrain/