Wav2vec2 Xlsr 1b Finnish Lm V2

🚀 Wav2Vec2 XLS-R フィンランド語自動音声認識用モデル

この音響モデルは、facebook/wav2vec2-xls-r-1b をフィンランド語の自動音声認識（ASR）に合わせて微調整したものです。このモデルは、275.6時間のフィンランド語の音声文字起こしデータを使って微調整されています。Wav2Vec2 XLS-R は、この論文 で紹介され、このページ で最初に公開されました。

このリポジトリには、音響モデルのデコード段階で使用されるフィンランド語の KenLM 言語モデルも含まれています。

注意: このモデルは Finnish-NLP/wav2vec2-xlsr-1b-finnish-lm-v2 とまったく同じで、このモデルは Finnish-NLP の Hugging Face 組織にコピー/移動されただけです。

✨ 主な機能

• フィンランド語の自動音声認識タスクに最適化された音響モデル。
• デコード段階で使用するフィンランド語の KenLM 言語モデルを含む。

📦 インストール

この README には具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

この README には具体的なコード例が記載されていないため、このセクションは省略されます。

📚 詳細ドキュメント

モデルの説明

Wav2Vec2 XLS-R は、Facebook AI による大規模な多言語音声事前学習モデルです。VoxPopuli、MLS、CommonVoice、BABEL、VoxLingua107 を含む 436,000 時間のラベルなし音声データで事前学習されています。このモデルは、128 の言語で wav2vec 2.0 の目的関数を使用しています。

事前学習モデルについての詳細は、このブログ と この論文 を参照してください。

このモデルは、事前学習モデル（10 億のパラメータバリアント）をフィンランド語の ASR 用に微調整したものです。

想定される用途と制限

このモデルは、フィンランド語の ASR（音声テキスト変換）タスクに使用できます。

使い方

このモデルの使用方法の詳細な例については、このリポジトリの run-finnish-asr-models.ipynb ノートブックを参照してください。

制限とバイアス

このモデルは、最大長が 20 秒の音声サンプルで微調整されているため、おそらく同程度の短い音声に最適に動作します。ただし、もっと長い音声でも試してみることができます。非常に長い音声ファイルでメモリ不足エラーが発生した場合は、このブログ記事 で紹介されている音声チャンキング方法を使用できます。

微調整に使用されたデータの大部分は、フィンランド議会のデータセットから取得されたため、このモデルは、方言を含む一般的な日常のフィンランド語など、大きく異なるドメインにはうまく汎化しない可能性があります。また、データセットの音声は成人男性が主体であるため、このモデルは、例えば子供や女性の音声ではうまく動作しない可能性があります。

デコード段階で使用されるフィンランド語の KenLM 言語モデルは、音声文字起こしのテキストデータとフィンランド語版 Wikipedia のサブセットから学習されています。したがって、デコーダの言語モデルは、非常に異なる言語、例えば方言を含む日常会話言語にはうまく汎化しない可能性があります（特に Wikipedia は主に正式なフィンランド語を含んでいるため）。独自のドメイン言語用に KenLM 言語モデルを学習させ、デコードで使用することが有益な場合があります。

学習データ

このモデルは、以下のデータセットからの 275.6 時間のフィンランド語の音声文字起こしデータで微調整されています。

データセットは、最大長が 20 秒の音声サンプルのみを含むようにフィルタリングされています。

学習手順

このモデルは、Hugging Face が主催する Robust Speech Challenge Event の間に学習されました。学習は、OVHcloud が提供する Tesla V100 GPU で行われました。

学習スクリプトは Hugging Face から提供されており、ここ で入手できます。私たちは、カスタムデータセットのデータローディングのみを変更しました。

KenLM 言語モデルの学習については、Hugging Face が提供する ブログ記事のチュートリアル に従いました。5-gram KenLM の学習データは、音声学習データのテキスト文字起こしと、クリーニングされた フィンランド語版 Wikipedia（2021 年 8 月）データセットのランダムな 100,000 サンプルでした。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e-05
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• optimizer: 8-bit Adam（betas=(0.9,0.999)、epsilon=1e-08）
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 10
• mixed_precision_training: Native AMP

事前学習された facebook/wav2vec2-xls-r-1b モデルは、以下のハイパーパラメータで初期化されました。

• attention_dropout: 0.094
• hidden_dropout: 0.047
• feat_proj_dropout: 0.04
• mask_time_prob: 0.082
• layerdrop: 0.041
• activation_dropout: 0.055
• ctc_loss_reduction: "mean"

学習結果

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評価結果

評価は、Common Voice 7.0 Finnish test split を使用して行われました。

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id aapot/wav2vec2-xlsr-1b-finnish-lm-v2 --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

このモデル（表の最初の行）は、他のモデルと比較して、以下の WER（単語誤り率）と CER（文字誤り率）の結果を達成しています。

チームメンバー

• Aapo Tanskanen, Hugging Face プロフィール, LinkedIn プロフィール
• Rasmus Toivanen, Hugging Face プロフィール, LinkedIn プロフィール

詳細については、自由にお問い合わせください 🤗

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で提供されています。