Wav2vec2 Base Fi Voxpopuli V2 Finetuned

🚀 Wav2Vec2-base-fi-voxpopuli-v2 用於芬蘭語自動語音識別

該聲學模型是 facebook/wav2vec2-base-fi-voxpopuli-v2 針對芬蘭語自動語音識別（ASR）任務的微調版本。該模型使用了 276.7 小時的芬蘭語轉錄語音數據進行微調。Wav2Vec2 首次在 這篇論文 中被提出，並在 此頁面 首次發佈。

本倉庫還包含了在解碼階段與聲學模型一起使用的芬蘭語 KenLM 語言模型。

✨ 主要特性

• 基於預訓練的 facebook/wav2vec2-base-fi-voxpopuli-v2 模型進行微調，適用於芬蘭語語音識別任務。
• 訓練數據涵蓋多個芬蘭語語音數據集，經過篩選確保音頻樣本長度不超過 20 秒。
• 提供了詳細的訓練過程和評估結果，便於對比和參考。

📚 詳細文檔

模型描述

Wav2vec2-base-fi-voxpopuli-v2 是 Facebook AI 針對芬蘭語語音的預訓練模型。它使用 VoxPopuli V2 數據集 中 14200 小時的無標籤芬蘭語語音，以 wav2vec 2.0 目標進行預訓練。

本模型是該預訓練模型針對芬蘭語 ASR 任務的微調版本。

預期用途和限制

如何使用

請查看本倉庫中的 run-finnish-asr-models.ipynb 筆記本，以獲取使用該模型的詳細示例。

限制和偏差

• 該模型使用最大長度為 20 秒的音頻樣本進行微調，因此對於類似長度的較短音頻效果可能最佳。不過，你也可以嘗試使用更長的音頻，並觀察其效果。如果在處理非常長的音頻文件時遇到內存不足的錯誤，可以使用 這篇博客文章 中介紹的音頻分塊方法。
• 用於微調的絕大部分數據來自芬蘭議會數據集，因此該模型可能無法很好地泛化到非常不同的領域，例如帶有方言的日常芬蘭語口語等。此外，數據集的音頻往往以成年男性為主，因此該模型可能對兒童和女性的語音效果不佳。
• 解碼階段使用的芬蘭語 KenLM 語言模型是使用音頻轉錄文本和芬蘭語維基百科的一個子集進行訓練的。因此，解碼器的語言模型可能無法很好地泛化到非常不同的語言，例如帶有方言的日常口語（因為維基百科主要包含正式的芬蘭語）。為你的領域語言訓練自己的 KenLM 語言模型並在解碼中使用可能會更有益。

訓練數據

該模型使用了來自以下數據集的 276.7 小時芬蘭語轉錄語音數據進行微調：

數據集經過篩選，僅包含長度不超過 20 秒的音頻樣本。

訓練過程

該模型在由 Hugging Face 和 OVHcloud 贊助的 Tesla V100 GPU 上進行訓練。

訓練腳本由 Hugging Face 提供，可在 此處 獲取。我們僅對其數據加載部分進行了修改，以適應我們的自定義數據集。

對於 KenLM 語言模型的訓練，我們遵循了 Hugging Face 提供的 博客文章教程。5 元 KenLM 的訓練數據包括音頻訓練數據的文本轉錄以及 2021 年 8 月清理後的 芬蘭語維基百科 數據集中的 100000 個隨機樣本。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：1e-04
• 訓練批次大小：64
• 評估批次大小：64
• 隨機種子：42
• 優化器：8 位 Adam，β=(0.9, 0.999)，ε=1e-08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：10
• 混合精度訓練：原生 AMP

預訓練的 facebook/wav2vec2-base-fi-voxpopuli-v2 模型使用以下超參數進行初始化：

• 注意力丟棄率：0.094
• 隱藏層丟棄率：0.047
• 特徵投影丟棄率：0.04
• 掩碼時間概率：0.082
• 層丟棄率：0.041
• 激活丟棄率：0.055
• CTC 損失縮減方式："mean"

訓練結果

框架版本

• Transformers 4.19.1
• Pytorch 1.11.0+cu102
• Datasets 2.2.1
• Tokenizers 0.11.0

評估結果

評估使用了 Common Voice 7.0 芬蘭語測試拆分、Common Voice 9.0 芬蘭語測試拆分 以及 FLEURS ASR 芬蘭語測試拆分。

該模型的訓練數據包括 Common Voice 9.0 的訓練拆分，但我們之前的大多數模型使用的是 Common Voice 7.0，因此我們對兩個版本的 Common Voice 都進行了測試。注意：Common Voice 在不同數據集版本之間似乎沒有完全固定測試拆分，因此 Common Voice 9.0 的一些訓練示例可能出現在 Common Voice 7.0 的測試拆分中，反之亦然。因此，在使用不同 Common Voice 版本訓練的模型之間，Common Voice 測試結果的比較並不完全準確，但這種比較仍然具有足夠的意義。

Common Voice 7.0 測試

要評估該模型，請運行本倉庫中的 eval.py 腳本：

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

與我們的其他模型及其參數數量相比，該模型（表格第一行）取得了以下詞錯誤率（WER）和字符錯誤率（CER）結果：

Common Voice 9.0 測試

要評估該模型，請運行本倉庫中的 eval.py 腳本：

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset mozilla-foundation/common_voice_9_0 --config fi --split test

與我們的其他模型及其參數數量相比，該模型（表格第一行）取得了以下詞錯誤率（WER）和字符錯誤率（CER）結果：

FLEURS ASR 測試

要評估該模型，請運行本倉庫中的 eval.py 腳本：

python3 eval.py --model_id Finnish-NLP/wav2vec2-base-fi-voxpopuli-v2-finetuned --dataset google/fleurs --config fi_fi --split test

與我們的其他模型及其參數數量相比，該模型（表格第一行）取得了以下詞錯誤率（WER）和字符錯誤率（CER）結果：

📄 許可證

本項目採用 Apache-2.0 許可證。

團隊成員

• Aapo Tanskanen，Hugging Face 個人資料，領英個人資料
• Rasmus Toivanen，Hugging Face 個人資料，領英個人資料

如有更多詳細信息需求，請隨時聯繫我們 🤗