Roest Wav2vec2 315m V2

🚀 Røst-wav2vec2-315m-v2

這是一款丹麥最先進的語音識別模型，由 Alvenir 作為 CoRal 項目的一部分進行訓練。本倉庫包含一個基於即將發佈的 CoRal-v2 數據集 訓練的 Wav2Vec2 模型。CoRal-v2 數據集包含豐富多樣的丹麥語對話和朗讀數據，涵蓋了不同年齡、性別和方言。該模型專為自動語音識別（ASR）而設計。

快來 我們的交互式演示 中體驗吧！

🚀 快速開始

首先，安裝所需的庫：

$ pip install transformers kenlm pyctcdecode

接下來，你可以使用 transformers Python 包來使用該模型，如下所示：

>>> from transformers import pipeline
>>> audio = get_audio()  # 16kHz 原始音頻數組
>>> transcriber = pipeline(model="CoRal-project/roest-wav2vec2-315m-v2")
>>> transcriber(audio)
{'text': '你的轉錄內容'}

✨ 主要特性

• 基於先進的 Wav2Vec2 架構，利用自監督學習從原始音頻數據中學習特徵。
• 在豐富多樣的丹麥語數據集上進行訓練，涵蓋不同年齡、性別和方言，具有良好的泛化能力。
• 經過微調，能夠更好地識別丹麥語語音，尤其是考慮到不同的方言。
• 結合語言模型進行後處理，提高轉錄的準確性。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> audio = get_audio()  # 16kHz 原始音頻數組
>>> transcriber = pipeline(model="CoRal-project/roest-wav2vec2-315m-v2")
>>> transcriber(audio)
{'text': '你的轉錄內容'}

高級用法

在實際應用中，你可以根據需要調整模型的參數，例如使用不同的語言模型進行後處理，或者對音頻進行預處理以提高識別準確性。

📚 詳細文檔

轉錄示例

探索以下音頻樣本及其轉錄內容和準確率指標。每個示例都展示了模型在不同丹麥方言下的性能。

模型詳情

Wav2Vec2 是一種先進的語音識別模型架構，它利用自監督學習從原始音頻數據中學習特徵。預訓練的 Wav2Vec2-XLS-R-300M 模型在 CoRal-v2 數據集 上進行了微調，以提高其在識別丹麥語語音時的性能，尤其是考慮到不同的方言。該模型使用 CoRaL 倉庫 中的訓練設置進行了 30K 步的訓練，運行以下命令：

python src/scripts/finetune_asr_model.py \
  model=wav2vec2-small \
  max_steps=30000 \
  datasets.coral_conversation_internal.id=CoRal-project/coral-v2 \
  datasets.coral_readaloud_internal.id=CoRal-project/coral-v2

該模型使用語言模型（LM）進行後處理評估。所使用的 LM 是由 CoRal-project/roest-wav2vec2-315m-v1 訓練和使用的那個。

該模型在 CoRal-v2 數據集上進行訓練，包括對話和朗讀子集。這個數據集包含了各種方言、年齡組和性別差異的丹麥語語音。請注意，該數據集以及此模型均根據自定義許可證進行許可，該許可證改編自 OpenRAIL-M，允許在很少限制的情況下進行商業使用（語音合成和生物識別除外） - 請參閱 許可證。

評估

該模型使用以下指標進行評估：

• 字符錯誤率 (CER)： 錯誤轉錄的字符百分比。
• 單詞錯誤率 (WER)： 錯誤轉錄的單詞百分比。

對話 CoRal 性能

該模型首先在 coral-v2 對話數據集的一個初步版本上進行了評估。

由於測試集僅包含 5 個獨特的說話者，其中 4 名是女性，因此結果是初步的。測試集包括 2 名使用“菲英島方言”的說話者、1 名使用“南日德蘭方言”的說話者、1 名非母語者和 1 名使用“北日德蘭方言”的說話者。

請注意，對於在朗讀數據上訓練的模型在對話數據上的高泛化誤差仍在分析中。

朗讀 CoRal 性能

注意！ hviske-v2 的基準測試已經重新評估，置信區間比模型卡片中報告的要大。

其他數據集上的性能

該模型還在其他數據集上進行了測試，以評估其泛化能力：

注意！ 訓練使用的詞彙表包括數字（0,1,2,..,9），這些數字在後期處理步驟中會轉換為文本。如果模型遺漏了空格，數字會被解釋為一個整體，這尤其會影響 NST 得分，因為該數據集包含許多數字。

比較 Whisper 和 Wav2Vec2 模型的注意事項

本模型卡片中詳細介紹的 Whisper 模型與 Wav2Vec2 模型相比，表現出顯著較低的字符錯誤率（CER）和單詞錯誤率（WER）。

Whisper 使用基於變壓器的架構，並具有額外的層來增強上下文理解。相比之下，Wav2Vec2 模型使用較短的上下文窗口，專注於聲音預測。Røst-Wav2Vec2 模型在後期處理中結合了一個簡單的語言模型，該模型根據統計語言模式來處理錯誤。

引入一個更復雜的上下文後處理語言模型可能會使這些模型類型之間的比較更加準確，CoRal 項目計劃在未來的版本中進行探索。

Røst-Whisper 模型在朗讀數據上表現出色，利用其嵌入式上下文框架在該上下文中實現更強大的識別能力。然而，Wav2Vec2 模型在各種語音識別任務中似乎具有更好的泛化能力，而 Whisper 模型在對話數據上的錯誤率較高。需要注意的是，CoRal-v2 對話數據集是初步的，說話者多樣性有限，這可能會影響這些結果。

訓練曲線

創建者和資助者

該模型由 Marie Juhl Jørgensen 和 Søren Vejlgaard Holm 在 Alvenir 進行訓練，並撰寫了模型卡片。

CoRal 項目由 丹麥創新基金 資助，參與夥伴包括：

• 亞歷山德拉研究所
• 哥本哈根大學
• 數字政府局
• Alvenir
• Corti

我們特別感謝 Dan Saattrup Nielsen、亞歷山德拉研究所 在倉庫工作方面的貢獻，以及 Simon Leminen Madsen、亞歷山德拉研究所 在建模工作方面的貢獻。

引用

@misc{roest-wav2vec2-315m-v2,
  author    = {Marie Juhl Jørgensen, Søren Vejlgaard Holm, Martin Carsten Nielsen, Dan Saattrup Nielsen, Sif Bernstorff Lehmann, Simon Leminen Madsen and Torben Blach},
  title     = {Røst-wav2vec-315m-v2: A Danish state-of-the-art speech recognition model trained on varied demographics and dialects},
  year      = {2025},
  url       = {https://huggingface.co/CoRal-project/roest-wav2vec2-315m-v2},
}

許可證

📄 許可證

該模型使用 OpenRAIL 許可證。有關詳細信息，請參閱 許可證。