Wav2vec2 Large Xls R 1b Swedish

🚀 wav2vec2-large-xls-r-1b-瑞典語

該模型是在通用語音（Common Voice）數據集上對 facebook/wav2vec2-xls-r-1b 進行微調後的版本。它在自動語音識別任務中表現出色，能夠將音頻準確地轉換為文本，為瑞典語語音處理提供了強大的支持。

✨ 主要特性

• 多領域適用：適用於自動語音識別、魯棒語音事件處理等多個領域。
• 高精度表現：在通用語音數據集上經過微調，在瑞典語語音識別任務中取得了良好的評估結果。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F
model_id = "kingabzpro/wav2vec2-large-xls-r-1b-Swedish"
sample_iter = iter(load_dataset("mozilla-foundation/common_voice_8_0", "sv-SE", split="test", streaming=True, use_auth_token=True))
sample = next(sample_iter)
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()
model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)
input_values = processor(resampled_audio, return_tensors="pt").input_values
with torch.no_grad():
    logits = model(input_values).logits
transcription = processor.batch_decode(logits.numpy()).text

高級用法

文檔中未提及高級用法相關代碼，故不展示。

📚 詳細文檔

評估指標

該模型在評估集上取得了以下結果： 無語言模型（Without LM）

• 損失（Loss）: 0.3370
• 詞錯誤率（Wer）: 18.44
• 字符錯誤率（Cer）: 5.75

有語言模型（With LM）

• 損失（Loss）: 0.3370
• 詞錯誤率（Wer）: 14.04
• 字符錯誤率（Cer）: 4.86

評估命令

1. 在 mozilla-foundation/common_voice_8_0 數據集的 test 分割上進行評估：

python eval.py --model_id kingabzpro/wav2vec2-large-xls-r-1b-Swedish --dataset mozilla-foundation/common_voice_8_0 --config sv-SE --split test

2. 在 speech-recognition-community-v2/dev_data 數據集上進行評估：

python eval.py --model_id kingabzpro/wav2vec2-large-xls-r-1b-Swedish --dataset speech-recognition-community-v2/dev_data --config sv --split validation --chunk_length_s 5.0 --stride_length_s 1.0

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0

🔧 技術細節

該模型基於 facebook/wav2vec2-xls-r-1b 基礎模型，在 mozilla-foundation/common_voice_8_0 數據集上進行微調。通過使用特定的訓練超參數和優化器，在瑞典語語音識別任務中取得了較好的效果。評估指標包括詞錯誤率（Wer）和字符錯誤率（Cer），用於衡量模型的性能。

📄 許可證

該模型使用 Apache-2.0 許可證。