Whisper Hindi Small

🚀 印地語小型Whisper模型

本模型是基於多個公開可用的自動語音識別（ASR）語料庫中的印地語數據，對 openai/whisper-small 進行微調後的版本。它是 Whisper 微調衝刺活動的一部分。

重要說明

本模型的訓練代碼可在 whisper-finetune 倉庫中複用。

🚀 快速開始

若要在整個數據集上評估此模型，可使用 whisper-finetune 倉庫中的評估代碼。該倉庫還提供了使用 whisper-jax 進行快速推理的腳本。

💻 使用示例

基礎用法

若要使用此模型對單個音頻文件進行推理，可使用以下代碼片段：

>>> import torch
>>> from transformers import pipeline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-small", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

高級用法

若要對 Whisper 模型進行快速推理，可使用 whisper-jax 庫。請按照 此處 所述的必要安裝步驟操作，然後使用以下代碼片段：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-small", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

📚 詳細文檔

訓練和評估數據

• 訓練數據：
  • GramVaani ASR 語料庫
  • ULCA ASR 語料庫
  • Shrutilipi ASR 語料庫
  • Google/Fleurs 訓練+開發集
• 評估數據：
  • GramVaani ASR 語料庫測試集
  • Google/Fleurs 測試集

訓練超參數

訓練期間使用了以下超參數：

🔧 技術細節

本模型在多個公開可用的 ASR 語料庫的印地語數據上對 openai/whisper-small 進行了微調。微調過程中使用了特定的超參數，以確保模型在印地語語音識別任務上取得良好的效果。

📄 許可證

本模型採用 Apache-2.0 許可證。

致謝

本工作由 印度理工學院馬德拉斯分校語音實驗室 完成。本工作的計算資源由印度電子和信息技術部（MeitY）的 “Bhashini：國家語言翻譯任務” 項目資助。