Wav2vec2 Xlsr 1b Finnish

🚀 用於芬蘭語自動語音識別的Wav2Vec2 XLS - R

本聲學模型是 facebook/wav2vec2-xls-r-1b 針對芬蘭語自動語音識別（ASR）任務的微調版本。該模型使用了259.57小時的芬蘭語轉錄語音數據進行微調。Wav2Vec2 XLS - R 首次在 這篇論文 中被提出，並在 此頁面 首次發佈。

注意：有一個在解碼階段使用了KenLM語言模型的版本，能夠生成更好的轉錄結果：Finnish - NLP/wav2vec2-xlsr-1b-finnish-lm

注意：此模型有一個更好的V2版本，它使用了額外16小時的數據進行了更長時間的微調：Finnish - NLP/wav2vec2-xlsr-1b-finnish-lm-v2

✨ 主要特性

• 基於預訓練的facebook/wav2vec2-xls-r-1b模型，針對芬蘭語自動語音識別任務進行了微調。
• 使用了259.57小時的芬蘭語轉錄語音數據進行訓練。
• 提供了使用KenLM語言模型的版本和V2版本，性能更優。

📦 安裝指南

文檔中未提及安裝步驟，故跳過此章節。

💻 使用示例

文檔中未提供代碼示例，故跳過此章節。

📚 詳細文檔

模型描述

Wav2Vec2 XLS - R 是Facebook AI開發的大規模多語言語音預訓練模型。它在436000小時的無標籤語音數據（包括VoxPopuli、MLS、CommonVoice、BABEL和VoxLingua107）上進行了預訓練，使用了wav2vec 2.0目標函數，支持128種語言。

你可以從 這篇博客 和 這篇論文 中瞭解更多關於該預訓練模型的信息。

此模型是預訓練模型（10億參數變體）針對芬蘭語自動語音識別任務的微調版本。

預期用途與限制

你可以將此模型用於芬蘭語自動語音識別（語音轉文本）任務。

使用方法

查看此倉庫中的 run - finnish - asr - models.ipynb 筆記本，以獲取如何使用此模型的詳細示例。

限制和偏差

• 此模型使用的音頻樣本最大長度為20秒，因此它最適合處理類似長度的較短音頻。不過，你也可以嘗試使用更長的音頻，看看效果如何。如果你在處理非常長的音頻文件時遇到內存不足的錯誤，可以使用 這篇博客文章 中介紹的音頻分塊方法。
• 用於微調的大部分數據來自芬蘭議會數據集，因此該模型在處理與該數據集差異較大的領域（如帶有方言的日常芬蘭語口語）時，泛化能力可能不佳。此外，數據集中的音頻往往以成年男性為主，因此該模型在處理兒童和女性的語音時可能效果不佳。

訓練數據

此模型使用了來自以下數據集的259.57小時芬蘭語轉錄語音數據進行微調：

數據集經過篩選，只包含最長20秒的音頻樣本。

訓練過程

此模型是在Hugging Face組織的 穩健語音挑戰活動 期間進行訓練的。訓練在由OVHcloud贊助的Tesla V100 GPU上完成。

訓練腳本由Hugging Face提供，可在 此處 獲取。我們僅對其數據加載部分進行了修改，以適應我們的自定義數據集。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e - 05
• 訓練批次大小：32
• 評估批次大小：8
• 隨機種子：42
• 優化器：8位Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：5
• 混合精度訓練：原生自動混合精度（Native AMP）

預訓練的facebook/wav2vec2-xls-r-1b模型使用以下超參數進行初始化：

• 注意力丟棄率：0.094
• 隱藏層丟棄率：0.047
• 特徵投影丟棄率：0.04
• 時間掩碼概率：0.082
• 層丟棄率：0.041
• 激活丟棄率：0.055
• CTC損失縮減方式："mean"

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評估結果

使用 Common Voice 7.0芬蘭語測試集 進行評估。

要評估此模型，請運行此倉庫中的eval.py腳本：

python3 eval.py --model_id aapot/wav2vec2-xlsr-1b-finnish --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

與我們的其他模型相比，此模型（表格中的第二行）在詞錯誤率（WER）和字符錯誤率（CER）方面取得了以下結果：

🔧 技術細節

文檔中未提供足夠的技術實現細節，故跳過此章節。

📄 許可證

此項目採用Apache - 2.0許可證。

團隊成員

• Aapo Tanskanen，Hugging Face個人主頁，領英個人主頁
• Rasmus Toivanen，Hugging Face個人主頁，領英個人主頁

如有更多細節需求，歡迎隨時聯繫我們 🤗