Whisper Th Large V3 Combined

🚀 Whisper Large V3 (タイ語): 結合版V1

このモデルは、openai/whisper-medium を、mozilla-foundation/common_voice_13_0 タイ語版、google/fleurs、および精選されたデータセットの拡張版でファインチューニングしたバージョンです。 Common Voice 13のテストセットでは、以下の結果を達成しています。

• WER: 6.59 (Deepcutトークナイザー使用時)

🚀 クイックスタート

このモデルは、huggingfaceの transformers を使用して以下のように利用できます。

基本的な使用法

from transformers import pipeline

MODEL_NAME = "biodatlab/whisper-th-large-v3-combined"  # モデル名を指定
lang = "th"  # タイ語に変更

device = 0 if torch.cuda.is_available() else "cpu"

pipe = pipeline(
    task="automatic-speech-recognition",
    model=MODEL_NAME,
    chunk_length_s=30,
    device=device,
)
pipe.model.config.forced_decoder_ids = pipe.tokenizer.get_decoder_prompt_ids(
  language=lang,
  task="transcribe"
)
text = pipe("audio.mp3")["text"] # オーディオmp3を指定してテキストを文字起こし

📚 ドキュメント

モデルの説明

このモデルは、openai/whisper-medium を、mozilla-foundation/common_voice_13_0 タイ語版、google/fleurs、および精選されたデータセットの拡張版でファインチューニングしたものです。

想定される用途と制限事項

詳細情報は後日提供予定です。

学習と評価データ

詳細情報は後日提供予定です。

学習手順

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: AdamW (betas=(0.9,0.999), epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• training_steps: 10000
• mixed_precision_training: Native AMP

フレームワークバージョン

• Transformers 4.37.2
• Pytorch 2.1.0
• Datasets 2.16.1
• Tokenizers 0.15.1

引用方法

Bibtexを使用して引用するには、以下のようにします。

@misc {thonburian_whisper_med,
    author       = { Atirut Boribalburephan, Zaw Htet Aung, Knot Pipatsrisawat, Titipat Achakulvisut },
    title        = { Thonburian Whisper: A fine-tuned Whisper model for Thai automatic speech recognition },
    year         = 2022,
    url          = { https://huggingface.co/biodatlab/whisper-th-medium-combined },
    doi          = { 10.57967/hf/0226 },
    publisher    = { Hugging Face }
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。