Whisper Medium He

🚀 whisper-medium-he[WIP]

このモデルは、imvladikon/whisper-medium-he をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.2061
• 単語誤り率 (Wer): 13.4020

🚀 クイックスタート

このモデルは自動音声認識に使用され、特定のデータセットでファインチューニングされています。以下に、推論の使用例を示します。

✨ 主な機能

• 自動音声認識タスクに対応
• 特定のハイパーパラメータを使用したトレーニングにより、一定の精度を達成

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。例えば、以下のコマンドで transformers をインストールできます。

pip install transformers

また、accelerate を使用する場合は、以下のコマンドでインストールします。

pip install accelerate

💻 使用例

基本的な使用法

HF

from transformers import pipeline
pipe = pipeline("automatic-speech-recognition", model="imvladikon/whisper-medium-he", device_map="auto") # requires `pip install accelerate`
print(recognize("sample.mp3"))

whisper.cpp

事前に準備されたモデル: https://huggingface.co/imvladikon/whisper-medium-he/blob/main/ggml-hebrew.bin

ただし、変換が必要な場合は、以下のコマンドを実行します。

git clone https://github.com/openai/whisper
git clone https://github.com/ggerganov/whisper.cpp
git clone https://huggingface.co/imvladikon/whisper-medium-he
python3 ./whisper.cpp/models/convert-h5-to-ggml.py ./whisper-medium-he/ ./whisper .

生成されたモデルが ggml-model.bin の場合、以下のコマンドで確認できます。

cd whisper.cpp && ./main -m ../ggml-model.bin -f ../sample.wav

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 1e-05
• トレーニングバッチサイズ (train_batch_size): 1
• 評価バッチサイズ (eval_batch_size): 1
• 乱数シード (seed): 42
• 勾配蓄積ステップ (gradient_accumulation_steps): 2
• 総トレーニングバッチサイズ (total_train_batch_size): 2
• オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類 (lr_scheduler_type): linear
• 学習率スケジューラのウォームアップステップ (lr_scheduler_warmup_steps): 500
• トレーニングステップ (training_steps): 4000
• 混合精度トレーニング (mixed_precision_training): Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.36.0.dev0
• Pytorch 2.1.0+cu118
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。