Wav2vec2 Xls R 300m Cs Cv8

🚀 捷克語語音識別模型（wav2vec2-xls-r-300m-cs-cv8）

本模型基於facebook/wav2vec2-xls-r-300m在Common Voice 8.0數據集上微調而來，可用於捷克語的自動語音識別任務，能有效將語音轉換為文本。

🚀 快速開始

直接使用模型（無需語言模型）

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("mozilla-foundation/common_voice_8_0", "cs", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-cv8")
model = Wav2Vec2ForCTC.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-cv8")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# 預處理數據集
# 需要將音頻文件讀取為數組
def speech_file_to_array_fn(batch):
	speech_array, sampling_rate = torchaudio.load(batch["path"])
	batch["speech"] = resampler(speech_array).squeeze().numpy()
	return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset[:2]["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
	logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset[:2]["sentence"])

評估模型

使用附帶的eval.py腳本評估模型：

python eval.py --model_id comodoro/wav2vec2-xls-r-300m-cs-cv8 --dataset mozilla-foundation/common-voice_8_0 --split test --config cs

✨ 主要特性

• 基於facebook/wav2vec2-xls-r-300m模型在Common Voice 8.0數據集上進行微調，適用於捷克語語音識別。
• 訓練過程中採用了不同階段的超參數調整，以達到更好的性能。

📦 安裝指南

文檔未提及安裝相關內容，可參考模型依賴庫（如transformers、torchaudio等）的官方安裝說明進行安裝。

📚 詳細文檔

模型描述

該模型是在捷克語上對facebook/wav2vec2-large-xlsr-53進行微調得到的，使用的是Common Voice數據集。使用此模型時，請確保語音輸入的採樣率為16kHz。

評估結果

訓練時在評估集上取得了以下結果：

• Loss: 0.2327
• Wer: 0.1608
• Cer: 0.0376

使用語言模型運行eval.py腳本的結果：

• WER: 0.10281503199350225
• CER: 0.02622802241689026

訓練和評估數據

訓練使用了Common Voice 8.0的train和validation數據集。

訓練過程

訓練超參數

第一階段訓練使用的超參數：

• 學習率：7e-05
• 訓練批次大小：32
• 評估批次大小：8
• 隨機種子：42
• 梯度累積步數：20
• 總訓練批次大小：640
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：150
• 混合精度訓練：Native AMP

第二階段訓練使用的超參數：

• 學習率：0.001
• 訓練批次大小：32
• 評估批次大小：8
• 隨機種子：42
• 梯度累積步數：20
• 總訓練批次大小：640
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：50
• 混合精度訓練：Native AMP

訓練結果

第一階段訓練結果：

進一步微調（架構略有不同，學習率更高）的結果：

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

🔧 技術細節

本模型基於Transformer架構，在預訓練模型facebook/wav2vec2-xls-r-300m的基礎上，使用Common Voice 8.0數據集對捷克語進行微調。訓練過程中採用了不同階段的超參數調整，以優化模型性能。

📄 許可證

本模型使用的是Apache-2.0許可證。

模型信息表格

重要提示

⚠️ 重要提示

使用此模型時，請確保語音輸入的採樣率為16kHz。

使用建議

💡 使用建議

可根據具體需求進一步調整超參數，以獲得更好的識別效果。