Wav2vec2 Xlsr 1b Finnish V2

🚀 Wav2Vec2 XLS - R 芬蘭語自動語音識別模型

本聲學模型是 [facebook/wav2vec2 - xls - r - 1b](https://huggingface.co/facebook/wav2vec2 - xls - r - 1b) 針對芬蘭語自動語音識別（ASR）任務的微調版本。該模型使用了 275.6 小時的芬蘭語轉錄語音數據進行微調。Wav2Vec2 XLS - R 在 這篇論文 中被提出，並首次發佈於 [此頁面](https://github.com/pytorch/fairseq/tree/main/examples/wav2vec#wav2vec - 20)。

注意：存在一個在解碼階段使用了 KenLM 語言模型的版本，該版本能生成更好的轉錄結果：[Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm - v2](https://huggingface.co/Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm - v2)

✨ 主要特性

• 基於大規模多語言預訓練模型 Wav2Vec2 XLS - R 進行微調，適用於芬蘭語自動語音識別任務。
• 使用了多種芬蘭語語音數據集進行微調，提升模型性能。

📦 安裝指南

文檔中未提及安裝步驟，暫不提供相關內容。

💻 使用示例

文檔中未提供代碼示例，暫不提供相關內容。

📚 詳細文檔

模型描述

Wav2Vec2 XLS - R 是 Facebook AI 開發的大規模多語言語音預訓練模型。它在 436000 小時的無標籤語音數據上進行預訓練，這些數據包括 VoxPopuli、MLS、CommonVoice、BABEL 和 VoxLingua107。該模型使用 wav2vec 2.0 目標函數，支持 128 種語言。

你可以從 [此博客](https://ai.facebook.com/blog/xls - r - self - supervised - speech - processing - for - 128 - languages) 和 這篇論文 中瞭解更多關於該預訓練模型的信息。

本模型是預訓練模型（10 億參數變體）針對芬蘭語 ASR 任務的微調版本。

預期用途與限制

你可以將此模型用於芬蘭語 ASR（語音轉文本）任務。

使用方法

查看本倉庫中的 [run - finnish - asr - models.ipynb](https://huggingface.co/aapot/wav2vec2 - xlsr - 1b - finnish - v2/blob/main/run - finnish - asr - models.ipynb) 筆記本，獲取關於如何使用此模型的詳細示例。

限制與偏差

• 該模型使用的音頻樣本最大長度為 20 秒，因此該模型最適用於類似長度的較短音頻。不過，你也可以嘗試使用更長的音頻，並觀察其效果。如果你在處理非常長的音頻文件時遇到內存不足的錯誤，可以使用 [此博客文章](https://huggingface.co/blog/asr - chunking) 中介紹的音頻分塊方法。
• 用於微調的大部分數據來自芬蘭議會數據集，因此該模型可能無法很好地泛化到非常不同的領域，例如帶有方言的日常芬蘭語口語等。此外，數據集的音頻往往以成年男性為主，因此該模型可能對兒童和女性的語音效果不佳。

訓練數據

本模型使用了來自以下數據集的 275.6 小時芬蘭語轉錄語音數據進行微調：

數據集經過篩選，只包含最大長度為 20 秒的音頻樣本。

訓練過程

本模型是在 Hugging Face 組織的 [穩健語音挑戰活動](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614) 期間進行訓練的。訓練在由 OVHcloud 贊助的 Tesla V100 GPU 上完成。

訓練腳本由 Hugging Face 提供，可在 [此處](https://github.com/huggingface/transformers/blob/main/examples/research_projects/robust - speech - event/run_speech_recognition_ctc_bnb.py) 獲取。我們僅針對自定義數據集修改了數據加載部分。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e - 05
• 訓練批次大小：32
• 評估批次大小：8
• 隨機種子：42
• 優化器：8 位 Adam，β=(0.9, 0.999)，ε = 1e - 08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：10
• 混合精度訓練：原生 AMP

預訓練的 facebook/wav2vec2 - xls - r - 1b 模型使用以下超參數進行初始化：

• 注意力丟棄率：0.094
• 隱藏層丟棄率：0.047
• 特徵投影丟棄率：0.04
• 時間掩碼概率：0.082
• 層丟棄率：0.041
• 激活函數丟棄率：0.055
• CTC 損失縮減方式："mean"

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

評估結果

評估使用了 [Common Voice 7.0 芬蘭語測試集](https://huggingface.co/datasets/mozilla - foundation/common_voice_7_0)。

要評估此模型，請運行本倉庫中的 eval.py 腳本：

python3 eval.py --model_id aapot/wav2vec2 - xlsr - 1b - finnish - v2 --dataset mozilla - foundation/common_voice_7_0 --config fi --split test

與我們的其他模型相比，此模型（表格第一行）在字錯率（WER）和字符錯誤率（CER）方面取得了以下結果：

團隊成員

• Aapo Tanskanen，Hugging Face 個人資料，領英個人資料
• Rasmus Toivanen，Hugging Face 個人資料，領英個人資料

如有更多詳情需求，請隨時聯繫我們 🤗

📄 許可證

本項目採用 Apache 2.0 許可證。