Wav2vec2 Xlsr 1b Finnish Lm

🚀 Wav2vec2-xls-r-1b for Finnish ASR

この音響モデルは、フィンランド語の自動音声認識（ASR）用に facebook/wav2vec2-xls-r-1b をファインチューニングしたバージョンです。このモデルは、259.57時間のフィンランド語の文字起こし音声データを使用してファインチューニングされています。Wav2Vec2 XLS-Rは、この論文 で紹介され、このページ で最初に公開されました。

このリポジトリには、音響モデルのデコード段階で使用されるフィンランド語のKenLM言語モデルも含まれています。

注意: このモデルは aapot/wav2vec2-xlsr-1b-finnish-lm モデルとまったく同じで、そのモデルがこの Finnish-NLP Hugging Face組織にコピー/移動されただけです。

注意: このモデルには、さらに16時間のデータで長時間ファインチューニングされた、より良いV2バージョンがあります: Finnish-NLP/wav2vec2-xlsr-1b-finnish-lm-v2

🚀 クイックスタート

このモデルは、フィンランド語の自動音声認識（音声からテキストへの変換）タスクに使用できます。具体的な使用方法については、このリポジトリの run-finnish-asr-models.ipynb ノートブックを参照してください。

✨ 主な機能

• フィンランド語の自動音声認識（ASR）に最適化された音響モデル。
• デコード段階で使用するフィンランド語のKenLM言語モデルを含む。

📦 インストール

READMEにインストールに関する具体的な手順が記載されていないため、このセクションは省略されました。

💻 使用例

READMEに使用例のコードが記載されていないため、このセクションは省略されました。

📚 ドキュメント

モデルの説明

Wav2Vec2 XLS-Rは、Facebook AIによる大規模な多言語事前学習音声モデルです。VoxPopuli、MLS、CommonVoice、BABEL、VoxLingua107を含む436,000時間のラベルなし音声データで事前学習されています。このモデルは、128言語でwav2vec 2.0の目的関数を使用しています。

事前学習モデルについての詳細は、このブログ と この論文 を参照してください。

このモデルは、事前学習モデル（10億パラメータのバリアント）をフィンランド語のASR用にファインチューニングしたバージョンです。

想定される用途と制限

用途

このモデルは、フィンランド語の自動音声認識（音声からテキストへの変換）タスクに使用できます。

制限とバイアス

• このモデルは、最大長が20秒の音声サンプルでファインチューニングされているため、おそらく同程度の短い音声に最適に動作します。ただし、もっと長い音声でも試すことができます。非常に長い音声ファイルでメモリ不足のエラーが発生した場合は、このブログ記事 で紹介されている音声チャンキング方法を使用できます。
• ファインチューニングに使用されたデータの大部分はフィンランド議会のデータセットからのものであるため、このモデルは、方言を含む日常の会話など、非常に異なるドメインにはうまく汎化できない可能性があります。また、データセットの音声は成人男性が主体であるため、このモデルは、例えば子供や女性の音声に対してはうまく動作しない可能性があります。
• デコード段階で使用されるフィンランド語のKenLM言語モデルは、音声の文字起こしテキストデータで学習されています。したがって、デコーダの言語モデルは、例えば方言を含む日常の会話言語など、非常に異なる言語には汎化できない可能性があります。独自のドメイン言語用にKenLM言語モデルを学習し、デコードで使用することが有益な場合があります。

学習データ

このモデルは、以下のデータセットからの259.57時間のフィンランド語の文字起こし音声データを使用してファインチューニングされています。

データセットは、最大長が20秒の音声サンプルのみを含むようにフィルタリングされています。

学習手順

このモデルは、Hugging Faceが主催する Robust Speech Challenge Event の間に学習されました。学習は、OVHcloudが提供するTesla V100 GPUで行われました。

学習スクリプトはHugging Faceによって提供されており、ここ で入手できます。私たちは、カスタムデータセットのデータ読み込み部分のみを変更しました。

KenLM言語モデルの学習には、Hugging Faceが提供する ブログ記事のチュートリアル に従いました。5-gram KenLMの学習データは、音声学習データの文字起こしテキストでした。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは次のとおりです。

• learning_rate: 5e-05
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• optimizer: 8-bit Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 5
• mixed_precision_training: Native AMP

事前学習された facebook/wav2vec2-xls-r-1b モデルは、次のハイパーパラメータで初期化されました。

• attention_dropout: 0.094
• hidden_dropout: 0.047
• feat_proj_dropout: 0.04
• mask_time_prob: 0.082
• layerdrop: 0.041
• activation_dropout: 0.055
• ctc_loss_reduction: "mean"

学習結果

フレームワークバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評価結果

評価は、Common Voice 7.0 Finnish test split、Common Voice 9.0 Finnish test split、および FLEURS ASR Finnish test split を使用して行われました。

このモデルの学習データにはCommon Voice 7.0の学習分割データが含まれていますが、私たちの新しい Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned および Finnish-NLP/wav2vec2-large-uralic-voxpopuli-v2-finnish モデルにはCommon Voice 9.0が含まれているため、両方のCommon Voiceバージョンに対してテストを実行しました。注意: Common Voiceは、データセットのバージョン間でテスト分割を完全に固定しているわけではないため、Common Voice 9.0の学習例の一部がCommon Voice 7.0のテスト分割に含まれている可能性があり、その逆も同様です。したがって、異なるCommon Voiceバージョンで学習されたモデル間のCommon Voiceテスト結果の比較は完全に正確ではありませんが、依然として十分に意味のある比較になるはずです。

Common Voice 7.0のテスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-xlsr-1b-finnish-lm  --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

このモデル（表の4行目）は、他のモデルとそのパラメータ数と比較して、次のWER（単語誤り率）とCER（文字誤り率）の結果を達成しています。

Common Voice 9.0のテスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-xlsr-1b-finnish-lm  --dataset mozilla-foundation/common_voice_9_0 --config fi --split test

このモデル（表の4行目）は、他のモデルとそのパラメータ数と比較して、次のWER（単語誤り率）とCER（文字誤り率）の結果を達成しています。

FLEURS ASRのテスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-xlsr-1b-finnish-lm --dataset google/fleurs --config fi_fi --split test

このモデル（表の4行目）は、他のモデルとそのパラメータ数と比較して、次のWER（単語誤り率）とCER（文字誤り率）の結果を達成しています。

🔧 技術詳細

READMEに技術的な詳細が十分に記載されていないため、このセクションは省略されました。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

チームメンバー

• Aapo Tanskanen, Hugging Faceプロフィール, LinkedInプロフィール
• Rasmus Toivanen, Hugging Faceプロフィール, LinkedInプロフィール

詳細については、自由にお問い合わせください 🤗