Whisper Tamil Medium

🚀 泰米爾語中型Whisper模型

本模型是基於多個公開可用的自動語音識別（ASR）語料庫中的泰米爾語數據，對 openai/whisper-medium 進行微調後的版本。它是Whisper微調衝刺項目的一部分。

注意：訓練此模型的代碼可在 whisper-finetune 倉庫中複用。

🚀 快速開始

本模型可用於對整個數據集進行評估，評估代碼可在 whisper-finetune 倉庫中找到。該倉庫還提供了使用 whisper-jax 進行快速推理的腳本。

✨ 主要特性

• 基於多個公開的ASR語料庫中的泰米爾語數據對 openai/whisper-medium 進行微調。
• 作為Whisper微調衝刺項目的一部分進行訓練。
• 提供了評估代碼和快速推理腳本。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 whisper-finetune 倉庫獲取相關信息。

💻 使用示例

基礎用法

若要使用此模型對單個音頻文件進行推理，可使用以下代碼片段：

>>> import torch
>>> from transformers import pipeline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-tamil-medium", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="ta", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

高級用法

若要使用 whisper-jax 進行快速推理，請先按照 此處 提到的步驟進行必要的安裝，然後使用以下代碼片段：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-tamil-medium", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="ta", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

📚 詳細文檔

訓練和評估數據

訓練數據

• IISc-MILE泰米爾語ASR語料庫
• ULCA ASR語料庫
• Shrutilipi ASR語料庫
• 微軟語音語料庫（印度語言）
• Google/Fleurs訓練+開發集
• Babel ASR語料庫

評估數據

• 微軟語音語料庫（印度語言）測試集
• Google/Fleurs測試集
• IISc-MILE測試集
• Babel測試集

訓練超參數

訓練過程中使用了以下超參數：

🔧 技術細節

本模型是在多個公開的ASR語料庫的泰米爾語數據上對 openai/whisper-medium 進行微調得到的。訓練代碼可在 whisper-finetune 倉庫中複用。評估代碼和快速推理腳本也可在該倉庫中找到。

📄 許可證

本模型使用Apache-2.0許可證。

致謝

本工作由 印度理工學院馬德拉斯分校語音實驗室 完成。計算資源由印度電子和信息技術部（MeitY）的 “Bhashini：國家語言翻譯任務” 項目資助。