Whisper Medium Ml

🚀 Whisper Medium Malayalam

このモデルは、Common Voice 11.0データセットでopenai/whisper-mediumをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• WER: 38.6207
• CER: 7.3256

なお、Whisperの正規化はマラヤーラム語のような言語に対して重大な問題があるため、上記のスコアは正規化を使用せずに評価されています。正規化を使用した場合（このプラットフォーム上の他のモデルとの公平な比較のため）、結果は次の通りです。

• WER: 11.49

このColabを起点として、モデルをさらにファインチューニングすることができます。

🚀 クイックスタート

このモデルは、Common Voice 11.0データセットを使ってopenai/whisper-mediumをファインチューニングしたもので、音声認識タスクに使用できます。

✨ 主な機能

• Common Voice 11.0データセットでファインチューニングされたモデル。
• 音声認識タスクでの評価結果が提供されている。
• コード例を使って簡単に音声の文字起こしができる。

💻 使用例

基本的な使用法

与えられた音声サンプルaudio（numpy配列からファイルパスまで何でも可）に対して、以下のコードで文字起こしを行います。

from transformers import pipeline, WhisperProcessor

processor = WhisperProcessor.from_pretrained("thennal/whisper-medium-ml")
forced_decoder_ids = processor.get_decoder_prompt_ids(language="ml", task="transcribe")
asr = pipeline(
        "automatic-speech-recognition", model="thennal/whisper-medium-ml", device=0,
    )
transcription = asr(audio, chunk_length_s=30, max_new_tokens=448, return_timestamps=False,  generate_kwargs={
        "forced_decoder_ids": forced_decoder_ids, 
        "do_sample": True,
    })

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 1e-05
• train_batch_size: 32
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• training_steps: 8000
• mixed_precision_training: Native AMP

フレームワークバージョン

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.13.2

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

⚠️ 重要提示

Whisperの正規化はマラヤーラム語のような言語に対して重大な問題があるため、評価スコアは正規化を使用せずに算出されています。

💡 使用建议

このColabを使って、モデルをさらにファインチューニングすることができます。