Whisper Large Pt Cv11

🚀 Whisper Large Portuguese

このモデルは、Common Voice 11 のトレーニングと検証データセットを使用して、ポルトガル語で openai/whisper-large-v2 をファインチューニングしたバージョンです。トレーニング中にはすべての検証データセットが使用されておらず、検証データセットから1kのサンプルを抽出し、ファインチューニング中の評価に使用しました。

🚀 クイックスタート

このセクションでは、モデルの基本的な使い方を説明します。

💻 使用例

基本的な使用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-pt-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="pt", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

📚 ドキュメント

評価

私は、2つのデータセットのテストデータセットを使用してモデルの評価を行いました。1つは Common Voice 11（ファインチューニングに使用したのと同じデータセット）、もう1つは Fleurs（ファインチューニング中には見ていないデータセット）です。Whisperは大文字小文字と句読点を文字起こしできるため、私は2つの異なるシナリオでモデルの評価を行いました。1つは生テキストを使用するシナリオ、もう1つは正規化されたテキスト（小文字 + 句読点の削除）を使用するシナリオです。さらに、Fleursデータセットについては、数値の文字起こしがないシナリオでモデルを評価しました。このデータセットで数値が記述される方法は、ファインチューニングで使用したデータセット（Common Voice）での記述方法と異なるため、数値の記述方法のこの違いが、Fleursでのこの種の文字起こしに対するモデルのパフォーマンスに影響を与えることが予想されます。

Common Voice 11

Fleurs

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。