🚀 whisper-medium-he[WIP]
本模型是 imvladikon/whisper-medium-he 在 None 數據集上的微調版本。它在評估集上取得了以下結果:
- 損失值:0.2061
- 詞錯誤率(Wer):13.4020
🚀 快速開始
本模型可用於自動語音識別任務,以下是不同方式的使用示例。
✨ 主要特性
📦 安裝指南
文檔未提及具體安裝步驟,可參考相關庫的官方文檔進行安裝,如 transformers
、pytorch
、datasets
、tokenizers
等。
💻 使用示例
基礎用法
使用 Hugging Face 的 pipeline
from transformers import pipeline
pipe = pipeline("automatic-speech-recognition", model="imvladikon/whisper-medium-he", device_map="auto")
print(recognize("sample.mp3"))
使用 whisper.cpp
首先準備模型文件:https://huggingface.co/imvladikon/whisper-medium-he/blob/main/ggml-hebrew.bin
如果需要轉換模型:
git clone https://github.com/openai/whisper
git clone https://github.com/ggerganov/whisper.cpp
git clone https://huggingface.co/imvladikon/whisper-medium-he
python3 ./whisper.cpp/models/convert-h5-to-ggml.py ./whisper-medium-he/ ./whisper .
然後可以進行檢查(如果生成的模型文件是 ggml-model.bin
):
cd whisper.cpp && ./main -m ../ggml-model.bin -f ../sample.wav
📚 詳細文檔
模型描述
待補充更多信息。
預期用途與限制
待補充更多信息。
訓練和評估數據
待補充更多信息。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率(learning_rate):1e-05
- 訓練批次大小(train_batch_size):1
- 評估批次大小(eval_batch_size):1
- 隨機種子(seed):42
- 梯度累積步數(gradient_accumulation_steps):2
- 總訓練批次大小(total_train_batch_size):2
- 優化器(optimizer):Adam,β=(0.9, 0.999),ε=1e-08
- 學習率調度器類型(lr_scheduler_type):線性
- 學習率調度器熱身步數(lr_scheduler_warmup_steps):500
- 訓練步數(training_steps):4000
- 混合精度訓練(mixed_precision_training):Native AMP
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
詞錯誤率(Wer) |
0.0983 |
0.1 |
1000 |
0.3072 |
16.4362 |
0.1219 |
0.2 |
2000 |
0.2923 |
15.6642 |
0.134 |
0.3 |
3000 |
0.2345 |
13.7450 |
0.2113 |
0.39 |
4000 |
0.2061 |
13.4020 |
框架版本
- Transformers 4.36.0.dev0
- Pytorch 2.1.0+cu118
- Datasets 2.15.0
- Tokenizers 0.15.0
📄 許可證
本模型使用 Apache-2.0 許可證。
屬性 |
詳情 |
模型類型 |
自動語音識別 |
基礎模型 |
imvladikon/whisper-medium-he |
指標 |
詞錯誤率(Wer) |
許可證 |
Apache-2.0 |