Wav2vec2 Xlsr 1b Finnish

🚀 Wav2Vec2 XLS - R を用いたフィンランド語の自動音声認識

この音響モデルは、フィンランド語の自動音声認識（ASR）用に facebook/wav2vec2 - xls - r - 1b をファインチューニングしたバージョンです。このモデルは、259.57時間のフィンランド語の文字起こしされた音声データを用いてファインチューニングされています。Wav2Vec2 XLS - R は この論文 で紹介され、このページ で最初に公開されました。

注意: デコード段階でKenLM言語モデルを使用し、より良い文字起こし結果を生み出すバージョンがあります: Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm

注意: このモデルのより良いV2バージョンがあり、さらに16時間のデータで長時間ファインチューニングされています: Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm - v2

✨ 主な機能

この音響モデルは、フィンランド語の自動音声認識に特化しており、以下のような特徴を持っています。

• 大規模な多言語事前学習モデルをベースにしているため、フィンランド語の音声認識において高い性能を発揮します。
• 259.57時間のフィンランド語の文字起こしされた音声データでファインチューニングされているため、フィンランド語の音声に特化した認識能力を持っています。

📚 ドキュメント

モデルの説明

Wav2Vec2 XLS - R は、Facebook AIによる大規模な多言語事前学習音声モデルです。VoxPopuli、MLS、CommonVoice、BABEL、VoxLingua107などを含む436,000時間のラベルなし音声データで事前学習されています。このモデルは、128言語でwav2vec 2.0の目的関数を使用して学習されています。

事前学習モデルについての詳細は、このブログ と この論文 を参照してください。

このモデルは、フィンランド語の自動音声認識用に事前学習モデル（10億パラメータのバリアント）をファインチューニングしたものです。

想定される用途と制限

このモデルは、フィンランド語の自動音声認識（音声からテキストへの変換）タスクに使用できます。

使い方

このモデルの詳細な使用例については、このリポジトリ内の run - finnish - asr - models.ipynb ノートブックを参照してください。

制限事項とバイアス

このモデルは、最大長が20秒の音声サンプルでファインチューニングされているため、おそらく同程度の短い音声に対して最も良い性能を発揮します。ただし、もっと長い音声でも試すことができます。非常に長い音声ファイルでメモリ不足エラーが発生した場合は、このブログ記事 で紹介されている音声チャンキング方法を使用できます。

ファインチューニングに使用されたデータの大部分はフィンランド議会のデータセットからのものであるため、このモデルは、方言を含む日常会話などの非常に異なるドメインに対しては汎化性能が低い可能性があります。また、データセットの音声は成人男性が主体であるため、このモデルは、例えば子供や女性の音声に対しては性能が劣る可能性があります。

学習データ

このモデルは、以下のデータセットからの259.57時間のフィンランド語の文字起こしされた音声データでファインチューニングされています。

データセットは、最大長が20秒の音声サンプルを含むようにフィルタリングされています。

学習手順

このモデルは、Hugging Faceによって主催された Robust Speech Challenge Event 中に学習されました。学習は、OVHcloudによってスポンサーされたTesla V100 GPU上で行われました。

学習スクリプトはHugging Faceによって提供され、ここ で入手できます。カスタムデータセットのデータ読み込み部分のみを変更しました。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e - 05
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• optimizer: 8-bit Adam with betas=(0.9,0.999) and epsilon=1e - 08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 5
• mixed_precision_training: Native AMP

事前学習された facebook/wav2vec2 - xls - r - 1b モデルは、以下のハイパーパラメータで初期化されました。

• attention_dropout: 0.094
• hidden_dropout: 0.047
• feat_proj_dropout: 0.04
• mask_time_prob: 0.082
• layerdrop: 0.041
• activation_dropout: 0.055
• ctc_loss_reduction: "mean"

学習結果

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評価結果

評価は、Common Voice 7.0 Finnish test split を使用して行われました。

このモデルを評価するには、このリポジトリ内の eval.py スクリプトを実行します。

python3 eval.py --model_id aapot/wav2vec2-xlsr-1b-finnish --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

このモデル（表の2行目）は、他のモデルと比較して、以下の単語誤り率（WER）と文字誤り率（CER）の結果を達成しています。

チームメンバー

• Aapo Tanskanen, Hugging Face profile, LinkedIn profile
• Rasmus Toivanen, Hugging Face profile, LinkedIn profile

詳細については、自由にお問い合わせください 🤗

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。