Whisper Small Uzbek

🚀 Whisper Small Uzbek

這個模型是 openai/whisper-small 在 Common Voice 17.0 數據集上的微調版本。它在評估集上取得了以下成果：

• 損失值：0.3776
• 字錯率（Wer）：35.8660

🚀 快速開始

此模型為語音識別任務提供了預訓練的能力，可基於 transformers 庫快速調用。以下是使用該模型進行語音識別的簡單示例：

from transformers import WhisperForConditionalGeneration, WhisperProcessor
import torch
from datasets import load_dataset

# 加載模型和處理器
model = WhisperForConditionalGeneration.from_pretrained("your_model_path")
processor = WhisperProcessor.from_pretrained("your_model_path")

# 加載示例音頻數據
ds = load_dataset("mozilla-foundation/common_voice_17_0", "uz", split="test", streaming=True)
sample = next(iter(ds))

# 處理音頻輸入
input_features = processor(sample["audio"]["array"], sampling_rate=sample["audio"]["sampling_rate"], return_tensors="pt").input_features 

# 生成轉錄文本
with torch.no_grad():
    predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

print(transcription)

✨ 主要特性

• 微調基礎模型：基於 openai/whisper-small 模型進行微調，在烏茲別克語語音識別任務上有更好的表現。
• 多指標評估：使用損失值和字錯率（Wer）對模型進行評估，確保模型性能。

📦 安裝指南

若要使用此模型，你需要安裝 transformers 庫及相關依賴：

pip install transformers datasets torch tokenizers

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e - 05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：使用 adamw_torch，其中 betas=(0.9, 0.999)，epsilon=1e - 08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：1500
• 訓練步數（training_steps）：5500
• 混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers：4.47.0
• Pytorch：2.1.1+cu121
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

本模型採用 Apache 2.0 許可證。