Whisper Large Sme

🚀 Whisper Large Northern Sámi

該模型是 openai/whisper-large-v2 在 audiofolder 數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：0.5559
• 字錯率（Wer）：24.9143

🚀 快速開始

本模型是基於 openai/whisper-large-v2 在 audiofolder 數據集上微調得到的。若要使用該模型進行自動語音識別任務，可參考以下步驟（此處僅為示例，具體使用需根據實際情況調整）：

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq

processor = AutoProcessor.from_pretrained("your_model_path")
model = AutoModelForSpeechSeq2Seq.from_pretrained("your_model_path")

# 假設 audio 是你的音頻數據
input_features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features 
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription)

✨ 主要特性

• 基於強大的 openai/whisper-large-v2 模型進行微調，在 audiofolder 數據集上有良好表現。
• 可用於自動語音識別任務，在評估集上有明確的損失值和字錯率指標。

📚 詳細文檔

模型信息

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）: 1e-05
• 訓練批次大小（train_batch_size）: 12
• 評估批次大小（eval_batch_size）: 6
• 隨機種子（seed）: 42
• 分佈式類型（distributed_type）: 多 GPU
• 優化器（optimizer）: Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 學習率調度器類型（lr_scheduler_type）: 線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）: 500
• 訓練步數（training_steps）: 60000
• 混合精度訓練（mixed_precision_training）: 原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.11.0

📄 許可證

本模型採用 Apache-2.0 許可證。