Whisper Small Sinhala V3

🚀 Whisper Small sinhala v3 - Lingalingeswaran

このモデルは、openai/whisper-small を Lingalingeswaran/asr-sinhala-dataset_json_v1 データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.2086
• 単語誤り率 (Wer): 46.4577

📚 ドキュメント

モデル情報

モデルの評価結果

• モデル名: Whisper Small sinhala v3 - Lingalingeswaran
• タスク: 自動音声認識 (Automatic Speech Recognition)
• データセット: Lingalingeswaran/asr-sinhala-dataset_json_v1 (config: si, split: test)
• 評価指標:
  • Wer: 46.457654723127035

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 1e-05
• 学習バッチサイズ (train_batch_size): 16
• 評価バッチサイズ (eval_batch_size): 8
• シード (seed): 42
• オプティマイザ (optimizer): OptimizerNames.ADAMW_TORCH を使用し、ベータ=(0.9,0.999)、イプシロン=1e-08、追加のオプティマイザ引数はなし
• 学習率スケジューラの種類 (lr_scheduler_type): 線形
• 学習率スケジューラのウォームアップステップ (lr_scheduler_warmup_steps): 500
• 学習ステップ数 (training_steps): 3000
• 混合精度学習 (mixed_precision_training): Native AMP

学習結果

フレームワークバージョン

• Transformers: 4.48.1
• Pytorch: 2.5.1+cu121
• Datasets: 3.2.0
• Tokenizers: 0.21.0

💻 使用例

基本的な使用法

以下は、Gradioを使用してこのモデルをシンハラ語の音声認識に使用する例です。

import gradio as gr
from transformers import pipeline

# Initialize the pipeline with the specified model
pipe = pipeline(model="Lingalingeswaran/whisper-small-sinhala_v3")

def transcribe(audio):
    # Transcribe the audio file to text
    text = pipe(audio)["text"]
    return text

# Create the Gradio interface

iface = gr.Interface(
    fn=transcribe,
    inputs=gr.Audio(sources=["microphone", "upload"], type="filepath"),
    outputs="text",
    title="Whisper Small Sinhala",
    description="Realtime demo for Sinhala speech recognition using a fine-tuned Whisper small model.",
)

# Launch the interface
if __name__ == "__main__":
    iface.launch()

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。