Whisper Hindi Large V2

🚀 Whisper Hindi Large-v2

本模型是在多個公開可用的印地語自動語音識別（ASR）語料庫數據上，對 openai/whisper-large-v2 進行微調得到的。它是 Whisper 微調衝刺項目的一部分。

模型指標

模型評估結果

🚀 快速開始

本模型可用於印地語的自動語音識別任務。訓練此模型的代碼可在 whisper-finetune 倉庫中複用。

💻 使用示例

基礎用法

若要使用此模型對單個音頻文件進行轉錄，可使用以下代碼片段：

>>> import torch
>>> from transformers import pipeline

>>> # 待轉錄音頻文件的路徑
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-large-v2", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

高級用法

若要對整個數據集評估此模型，可使用 whisper-finetune 倉庫中的評估代碼。該倉庫還提供了使用 whisper-jax 進行快速推理的腳本。

為了使用 whisper-jax 庫進行更快的推理，請先按照 此處 提到的必要安裝步驟進行操作，然後使用以下代碼片段：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # 待轉錄音頻文件的路徑
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-large-v2", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

📚 詳細文檔

訓練和評估數據

• 訓練數據：
  • GramVaani ASR 語料庫
  • ULCA ASR 語料庫
  • Shrutilipi ASR 語料庫
  • Google/Fleurs 訓練集 + 開發集
• 評估數據：
  • GramVaani ASR 語料庫測試集
  • Google/Fleurs 測試集

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.75e-05
• 訓練批次大小：8
• 評估批次大小：24
• 隨機種子：22
• 優化器：adamw_bnb_8bit
• 學習率調度器類型：線性
• 學習率調度器熱身步數：25000
• 訓練步數：57000（初始設置為 116255 步）
• 混合精度訓練：開啟

🔧 技術細節

本模型基於 openai/whisper-large-v2 進行微調，在多個公開的印地語 ASR 語料庫上進行訓練。訓練過程中使用了特定的超參數和優化器，以提高模型在印地語語音識別任務上的性能。

📄 許可證

本項目採用 Apache-2.0 許可證。

致謝

本工作由 印度理工學院馬德拉斯分校語音實驗室 完成。計算資源由印度電子和信息技術部（MeitY）的 “Bhashini：國家語言翻譯使命” 項目資助。