Wav2vec2 Xlsr 300m Finnish Lm

🚀 Wav2Vec2 XLS-R for Finnish ASR

この音響モデルは、フィンランド語の自動音声認識（ASR）用に facebook/wav2vec2-xls-r-300m をファインチューニングしたバージョンです。このモデルは、275.6時間のフィンランド語の音声文字起こしデータを使ってファインチューニングされています。Wav2Vec2 XLS-R は、この論文 で紹介され、このページ で最初に公開されました。

このリポジトリには、音響モデルのデコード段階で使用されるフィンランド語のKenLM言語モデルも含まれています。

注意: このモデルは Finnish-NLP/wav2vec2-xlsr-300m-finnish-lm モデルとまったく同じです。つまり、このモデルは Finnish-NLP のHugging Face組織にコピー/移動されただけです。

🚀 クイックスタート

この音響モデルは、フィンランド語の自動音声認識に特化してファインチューニングされたもので、多くの音声データを用いて高精度化されています。

✨ 主な機能

• フィンランド語の自動音声認識に特化した音響モデル。
• デコード段階でKenLM言語モデルを使用し、認識精度を向上。
• 多言語事前学習モデルをベースにしているため、汎用性が高い。

📚 ドキュメント

モデルの説明

Wav2Vec2 XLS-Rは、Facebook AIによる大規模な多言語音声事前学習モデルです。VoxPopuli、MLS、CommonVoice、BABEL、VoxLingua107など、436,000時間のラベルなし音声データで事前学習されています。このモデルは、128言語でwav2vec 2.0の目的関数を使用して学習されています。

事前学習モデルについての詳細は、このブログ と この論文 を参照してください。

このモデルは、フィンランド語のASR用に事前学習モデル（3億パラメータのバリアント）をファインチューニングしたものです。

想定される用途と制限

用途

このモデルは、フィンランド語の自動音声認識（音声からテキストへの変換）タスクに使用できます。

使い方

このモデルの詳細な使用例については、このリポジトリ内の run-finnish-asr-models.ipynb ノートブックを参照してください。

制限とバイアス

• このモデルは、最大長が20秒の音声サンプルでファインチューニングされているため、同程度の長さの比較的短い音声に最適に動作する可能性が高いです。ただし、もっと長い音声でも試すことができます。非常に長い音声ファイルでメモリ不足のエラーが発生した場合は、このブログ記事 で紹介されている音声チャンキング方法を使用できます。
• ファインチューニングに使用されたデータの大部分はフィンランド議会のデータセットからのものであるため、このモデルは、方言を含む日常会話など、非常に異なるドメインにはうまく汎化しない可能性があります。また、データセットの音声は成人男性が主体であるため、このモデルは、例えば子供や女性の音声に対してはうまく機能しない可能性があります。
• デコード段階で使用されるフィンランド語のKenLM言語モデルは、音声文字起こしのテキストデータとフィンランド語Wikipediaのサブセットを使って学習されています。したがって、デコーダの言語モデルは、非常に異なる言語、例えば方言を含む日常会話言語にはうまく汎化しない可能性があります（特にWikipediaには主に正式なフィンランド語が含まれているため）。独自のドメイン言語用にKenLM言語モデルを学習し、デコードに使用することが有益な場合があります。

学習データ

このモデルは、以下のデータセットからの275.6時間のフィンランド語の音声文字起こしデータでファインチューニングされています。

データセットは、最大長が20秒の音声サンプルのみを含むようにフィルタリングされています。

学習手順

このモデルは、Hugging Faceが主催する Robust Speech Challenge Event の間に学習されました。学習は、OVHcloudが提供するTesla V100 GPUで行われました。

学習スクリプトはHugging Faceによって提供されており、こちら で入手できます。カスタムデータセットのデータ読み込み部分のみを変更しました。

KenLM言語モデルの学習については、Hugging Faceが提供する ブログ記事のチュートリアル に従いました。5-gram KenLMの学習データは、音声学習データのテキスト文字起こしと、クリーニングされた フィンランド語Wikipedia （2021年8月）データセットの100,000件のランダムサンプルでした。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-04
• 学習バッチサイズ: 32
• 評価バッチサイズ: 32
• シード: 42
• オプティマイザ: 8-bit Adam （ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 10
• 混合精度学習: Native AMP

事前学習された facebook/wav2vec2-xls-r-300m モデルは、以下のハイパーパラメータで初期化されました。

• アテンションドロップアウト: 0.094
• 隠れ層ドロップアウト: 0.047
• 特徴投影ドロップアウト: 0.04
• マスク時間確率: 0.082
• レイヤードロップ: 0.041
• 活性化ドロップアウト: 0.055
• CTC損失の削減方法: "mean"

学習結果

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評価結果

評価は、Common Voice 7.0 Finnish test split を使用して行われました。

このモデルを評価するには、このリポジトリ内の eval.py スクリプトを実行します。

python3 eval.py --model_id aapot/wav2vec2-xlsr-300m-finnish-lm --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

このモデル（表の3行目）は、他のモデルと比較して、以下のWER（単語誤り率）とCER（文字誤り率）の結果を達成しています。

チームメンバー

• Aapo Tanskanen, Hugging Faceプロフィール, LinkedInプロフィール
• Rasmus Toivanen, Hugging Faceプロフィール, LinkedInプロフィール

詳細については、自由にお問い合わせください 🤗

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。