Indian Accent English Whisper Finetuned

🚀 Whisperインド英語アクセントモデル

このモデルは、インド英語アクセントのデータセットを使用して、openai/whisper-large-v3-turboをファインチューニングしたバージョンです。評価セットでは、以下の成果を達成しています。

• 損失値：0.2065
• 文字誤り率（Wer）：7.5056

🚀 クイックスタート

このモデルは事前学習済みモデルです。自動音声認識タスクに使用するには、Hugging Faceのtransformersライブラリを利用できます。以下は簡単な使用例です。

from transformers import WhisperForConditionalGeneration, WhisperProcessor
import torch
from datasets import load_dataset

# モデルとプロセッサーをロード
model = WhisperForConditionalGeneration.from_pretrained("your_model_path")
processor = WhisperProcessor.from_pretrained("your_model_path")

# サンプルオーディオデータをロード
ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
sample = ds[0]["audio"]

# オーディオ入力を処理
input_features = processor(sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt").input_features 

# 文字起こしテキストを生成
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

print(transcription)

✨ 主な機能

• ファインチューニング最適化：インド英語アクセントのデータセットを使用してopenai/whisper-large-v3-turboをファインチューニングしているため、インド英語アクセントの音声認識に最適です。
• 評価での良好な性能：評価セットでは低い損失値と文字誤り率を示し、良好な認識性能を備えています。

📦 インストール

このモデルを使用するには、以下の依存ライブラリをインストールする必要があります。

pip install transformers==4.49.0 datasets==3.3.2 tokenizers==0.21.0 torch==2.2.0a0+81ea7a4

📚 ドキュメント

モデルの説明

このモデルは、openai/whisper-large-v3-turboをベースに、インド英語アクセントのデータセットを使用してファインチューニングされています。ただし、現在、モデルに関する詳細情報は追加される予定です。

予想される用途と制限

現在、モデルの予想される用途と制限に関する詳細情報は追加される予定です。

学習と評価データ

現在、学習と評価データに関する詳細情報は追加される予定です。

学習と評価

学習ハイパーパラメータ

学習には、以下のハイパーパラメータが使用されています。

• 学習率（learning_rate）：1e-05
• 学習バッチサイズ（train_batch_size）：16
• 評価バッチサイズ（eval_batch_size）：8
• 乱数シード（seed）：42
• オプティマイザー（optimizer）：adamw_torchを使用。betas=(0.9,0.999)、epsilon=1e-08、追加のオプティマイザーパラメータはありません。
• 学習率スケジューラータイプ（lr_scheduler_type）：線形
• 学習率スケジューラーのウォームアップステップ数（lr_scheduler_warmup_steps）：500
• 学習エポック数（num_epochs）：5
• 混合精度学習（mixed_precision_training）：ネイティブ自動混合精度（Native AMP）

学習結果

フレームワークバージョン

• Transformers 4.49.0
• Pytorch 2.2.0a0+81ea7a4
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 ライセンス

このモデルはMITライセンスの下で提供されています。