Whisper Large Zh Cv11

🚀 Whisper Large Chinese (Mandarin)

このモデルは、Common Voice 11 のトレーニングと検証データセットを使用して、中国語（北京語）で openai/whisper-large-v2 をファインチューニングしたバージョンです。トレーニング中にはすべての検証データが使用されていません。私は検証データから1kのサンプルを抽出し、ファインチューニング中の評価に使用しました。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-zh-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

📚 ドキュメント

評価

私は2つのデータセット、Common Voice 11（ファインチューニングに使用したのと同じデータセット）と Fleurs（ファインチューニング中に見たことのないデータセット）のテストデータを使用して、モデルの評価を行いました。Whisperは大文字小文字と句読点を記述できるため、私は2つの異なるシナリオでモデルの評価を行いました。1つは生テキストを使用し、もう1つは正規化されたテキスト（小文字 + 句読点の削除）を使用しました。さらに、Fleursデータセットについては、数値の記述方法がファインチューニングに使用したデータセット（Common Voice）と異なるため、数値の記述方法の違いがFleursでのこの種の文字起こしのモデルのパフォーマンスに影響することが予想されるシナリオでモデルを評価しました。

Common Voice 11

Fleurs

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。