Wav2vec2 Base Fi Voxpopuli V2 Finetuned

🚀 Wav2Vec2-base-fi-voxpopuli-v2 フィンランド語自動音声認識モデル

この音響モデルは、フィンランド語の自動音声認識（ASR）用に facebook/wav2vec2-base-fi-voxpopuli-v2 をファインチューニングしたバージョンです。276.7時間のフィンランド語の文字起こし音声データを使ってファインチューニングされています。Wav2Vec2は この論文 で紹介され、このページ で最初に公開されました。

このリポジトリには、音響モデルのデコード段階で使用されるフィンランド語のKenLM言語モデルも含まれています。

🚀 クイックスタート

このモデルはフィンランド語の自動音声認識（音声からテキストへ）タスクに使用できます。詳細な使用例については、このリポジトリの run-finnish-asr-models.ipynb ノートブックを確認してください。

✨ 主な機能

モデル概要

Wav2vec2-base-fi-voxpopuli-v2 は、Facebook AIによるフィンランド語音声用の事前学習モデルです。VoxPopuli V2データセット からの14.2k時間のラベルなしフィンランド語音声を使って、wav2vec 2.0の目的関数で事前学習されています。このモデルは、フィンランド語の自動音声認識用に事前学習モデルをファインチューニングしたバージョンです。

想定用途と制限

• 想定用途：フィンランド語の自動音声認識（音声からテキストへ）タスクに使用できます。
• 制限とバイアス：
  • このモデルは最大長が20秒の音声サンプルでファインチューニングされているため、おそらく同程度の短い音声に最適に動作します。ただし、もっと長い音声でも試すことができます。非常に長い音声ファイルでメモリ不足エラーが発生した場合は、このブログ記事 で紹介されている音声チャンキング方法を使用できます。
  • ファインチューニングに使用されたデータの大部分はフィンランド議会のデータセットからのものであるため、このモデルは方言を含む日常会話などの非常に異なるドメインにはうまく汎化しない可能性があります。また、データセットの音声は成人男性が主体であるため、このモデルは子供や女性の音声ではうまく動作しない可能性があります。
  • デコード段階で使用されるフィンランド語のKenLM言語モデルは、音声の文字起こしデータとフィンランド語Wikipediaのサブセットからのテキストデータで学習されています。したがって、デコーダの言語モデルは、特にWikipediaが主に正式なフィンランド語を含んでいるため、方言を含む日常会話などの非常に異なる言語には汎化しない可能性があります。独自のKenLM言語モデルをドメイン言語用に学習し、デコードで使用することが有益な場合があります。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

このモデルは、以下のデータセットからの276.7時間のフィンランド語の文字起こし音声データでファインチューニングされています。

データセットは、最大長が20秒の音声サンプルを含むようにフィルタリングされています。

学習手順

このモデルは、Hugging FaceとOVHcloudが提供するTesla V100 GPUで学習されました。学習スクリプトはHugging Faceによって提供され、ここ で入手できます。カスタムデータセットのデータロード部分のみを変更しました。

KenLM言語モデルの学習には、Hugging Faceが提供する ブログ記事のチュートリアル に従いました。5-gram KenLMの学習データは、音声学習データのテキスト文字起こしと、クリーニングされた フィンランド語Wikipedia（2021年8月）データセットのランダムな100kサンプルでした。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 1e-04
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: 8-bit Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 10
• mixed_precision_training: Native AMP

事前学習された facebook/wav2vec2-base-fi-voxpopuli-v2 モデルは、以下のハイパーパラメータで初期化されました。

• attention_dropout: 0.094
• hidden_dropout: 0.047
• feat_proj_dropout: 0.04
• mask_time_prob: 0.082
• layerdrop: 0.041
• activation_dropout: 0.055
• ctc_loss_reduction: "mean"

学習結果

フレームワークバージョン

• Transformers 4.19.1
• Pytorch 1.11.0+cu102
• Datasets 2.2.1
• Tokenizers 0.11.0

評価結果

評価は、Common Voice 7.0 Finnish test split、Common Voice 9.0 Finnish test split、および FLEURS ASR Finnish test split を使用して行われました。

このモデルの学習データにはCommon Voice 9.0の学習分割が含まれていますが、以前のモデルの大部分はCommon Voice 7.0を含んでいるため、両方のCommon Voiceバージョンについてテストを実行しました。注意: Common Voiceはデータセットバージョン間でテスト分割を完全に固定しているわけではないため、Common Voice 9.0の学習例の一部がCommon Voice 7.0のテスト分割に含まれる可能性があり、その逆も同様です。したがって、異なるCommon Voiceバージョンで学習されたモデル間のCommon Voiceテスト結果の比較は完全に正確ではありませんが、比較は依然として十分に意味があるはずです。

Common Voice 7.0 テスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

このモデル（表の最初の行）は、他のモデルとそのパラメータ数と比較して、以下の単語誤り率（WER）と文字誤り率（CER）の結果を達成します。

Common Voice 9.0 テスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset mozilla-foundation/common_voice_9_0 --config fi --split test

このモデル（表の最初の行）は、他のモデルとそのパラメータ数と比較して、以下の単語誤り率（WER）と文字誤り率（CER）の結果を達成します。

FLEURS ASR テスト

このモデルを評価するには、このリポジトリの eval.py スクリプトを実行します。

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset google/fleurs --config fi_fi --split test

このモデル（表の最初の行）は、他のモデルとそのパラメータ数と比較して、以下の単語誤り率（WER）と文字誤り率（CER）の結果を達成します。

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

チームメンバー

• Aapo Tanskanen, Hugging Faceプロフィール, LinkedInプロフィール
• Rasmus Toivanen, Hugging Faceプロフィール, LinkedInプロフィール

詳細については、自由にお問い合わせください 🤗