Whisper Telugu Medium

🚀 耳語泰盧固語中型模型

本模型是基於多個公開可用的自動語音識別（ASR）語料庫中的泰盧固語數據，對 openai/whisper-medium 進行微調後的版本。它是耳語微調衝刺項目的一部分。

注意：訓練此模型的代碼可在 whisper-finetune 倉庫中複用。

🚀 快速開始

本模型可用於泰盧固語的自動語音識別任務。你可以使用提供的代碼示例進行推理和評估。

✨ 主要特性

• 基於公開的泰盧固語數據對 openai/whisper-medium 模型進行微調。
• 提供了評估代碼和推理腳本，支持快速評估和推理。
• 支持使用 whisper-jax 庫進行更快的推理。

📦 安裝指南

若要評估此模型或進行推理，可參考 whisper-finetune 倉庫中的說明進行安裝。

💻 使用示例

基礎用法

若要使用此模型對單個音頻文件進行轉錄，可使用以下代碼片段：

>>> import torch
>>> from transformers import pipeline

>>> # 待轉錄音頻文件的路徑
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-telugu-medium", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('轉錄結果: ', transcribe(audio)["text"])

高級用法

若要對耳語模型進行更快的推理，可使用 whisper-jax 庫。請按照 此處 所述的必要安裝步驟操作，然後使用以下代碼片段：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # 待轉錄音頻文件的路徑
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-telugu-medium", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('轉錄結果: ', transcribe(audio)["text"])

📚 詳細文檔

訓練和評估數據

訓練超參數

模型評估結果

🔧 技術細節

本模型是對 openai/whisper-medium 進行微調得到的。微調過程中使用了多個公開的泰盧固語 ASR 語料庫。訓練過程中採用了特定的超參數設置，如學習率、批次大小等，並使用了 8 位 AdamW 優化器和線性學習率調度器。

📄 許可證

本模型使用 Apache 2.0 許可證。

致謝

本工作在 印度理工學院馬德拉斯分校語音實驗室 完成。本工作的計算資源由印度電子和信息技術部（MeitY）的 “Bhashini：國家語言翻譯任務” 項目資助。