Wav2vec2 Xlsr 300m Finnish

🚀 用於芬蘭語自動語音識別的Wav2Vec2 XLS - R

本聲學模型是 [facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m) 針對芬蘭語自動語音識別（ASR）任務的微調版本。該模型使用了275.6小時的芬蘭語轉錄語音數據進行微調。Wav2Vec2 XLS - R 首次在 這篇論文 中被提出，並在 [此頁面](https://github.com/pytorch/fairseq/tree/main/examples/wav2vec#wav2vec - 20) 首次發佈。

注意：存在一個在解碼階段使用了KenLM語言模型的版本，該版本能生成更好的轉錄結果：[Finnish - NLP/wav2vec2 - xlsr - 300m - finnish - lm](https://huggingface.co/Finnish - NLP/wav2vec2 - xlsr - 300m - finnish - lm)

✨ 主要特性

• 微調模型：基於facebook的預訓練模型針對芬蘭語ASR任務進行微調。
• 多語言基礎：預訓練模型在多種語言的大量無標籤語音數據上訓練。
• 評估指標良好：在芬蘭語語音識別任務上有較好的WER和CER指標。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

文檔未提供代碼示例，故跳過該章節。

📚 詳細文檔

模型描述

Wav2Vec2 XLS - R是Facebook AI的大規模多語言語音預訓練模型。它在43.6萬小時的無標籤語音數據上進行預訓練，這些數據包括VoxPopuli、MLS、CommonVoice、BABEL和VoxLingua107。該模型使用wav2vec 2.0目標函數，支持128種語言。

你可以從 [這篇博客](https://ai.facebook.com/blog/xls - r - self - supervised - speech - processing - for - 128 - languages) 和 這篇論文 中瞭解更多關於該預訓練模型的信息。

此模型是預訓練模型（3億參數變體）針對芬蘭語ASR任務的微調版本。

預期用途與侷限性

預期用途

你可以使用此模型進行芬蘭語自動語音識別（語音轉文本）任務。

使用方法

查看本倉庫中的 [run - finnish - asr - models.ipynb](https://huggingface.co/aapot/wav2vec2 - xlsr - 300m - finnish/blob/main/run - finnish - asr - models.ipynb) 筆記本，以獲取使用此模型的詳細示例。

侷限性和偏差

• 音頻長度：該模型使用的音頻樣本最大長度為20秒，因此它最適合處理類似長度的較短音頻。不過，你也可以嘗試使用更長的音頻，並觀察其效果。如果你在處理非常長的音頻文件時遇到內存不足的錯誤，可以使用 [這篇博客文章](https://huggingface.co/blog/asr - chunking) 中介紹的音頻分塊方法。
• 數據領域：用於微調的大部分數據來自芬蘭議會數據集，因此該模型在處理與該領域差異較大的內容（如帶有方言的日常芬蘭語口語）時，泛化能力可能不佳。
• 性別差異：數據集的音頻往往以成年男性為主，因此該模型在處理兒童和女性的語音時可能效果不佳。

訓練數據

該模型使用了來自以下數據集的275.6小時芬蘭語轉錄語音數據進行微調：

數據集經過篩選，只包含最長20秒的音頻樣本。

訓練過程

該模型是在Hugging Face組織的 [魯棒語音挑戰活動](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614) 期間進行訓練的。訓練在由OVHcloud贊助的Tesla V100 GPU上完成。

訓練腳本由Hugging Face提供，可在 [此處](https://github.com/huggingface/transformers/blob/main/examples/research_projects/robust - speech - event/run_speech_recognition_ctc_bnb.py) 獲取。我們僅對其數據加載部分進行了修改，以適應我們的自定義數據集。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e - 04
• 訓練批次大小：32
• 評估批次大小：32
• 隨機種子：42
• 優化器：8位Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：10
• 混合精度訓練：原生AMP

預訓練的 facebook/wav2vec2 - xls - r - 300m 模型使用以下超參數進行初始化：

• 注意力丟棄率：0.094
• 隱藏層丟棄率：0.047
• 特徵投影丟棄率：0.04
• 掩碼時間概率：0.082
• 層丟棄率：0.041
• 激活丟棄率：0.055
• CTC損失縮減方式："mean"

訓練結果

框架版本

• Transformers：4.17.0.dev0
• Pytorch：1.10.2 + cu102
• Datasets：1.18.3
• Tokenizers：0.11.0

評估結果

評估使用了 [Common Voice 7.0芬蘭語測試分割集](https://huggingface.co/datasets/mozilla - foundation/common_voice_7_0)。

要評估此模型，請運行本倉庫中的 eval.py 腳本：

python3 eval.py --model_id aapot/wav2vec2 - xlsr - 300m - finnish --dataset mozilla - foundation/common_voice_7_0 --config fi --split test

與我們的其他模型相比，此模型（表格中的第三行）在字錯誤率（WER）和字符錯誤率（CER）方面取得了以下結果：

團隊成員

• Aapo Tanskanen，Hugging Face個人資料，領英個人資料
• Rasmus Toivanen，Hugging Face個人資料，領英個人資料

如有更多詳細信息需求，請隨時聯繫我們 🤗

🔧 技術細節

文檔未提供超過50字的具體技術說明，故跳過該章節。

📄 許可證

本項目採用Apache 2.0許可證。