Whisper Telugu Large V2

🚀 Whisper Telugu Large-v2

本模型是基于Transformer架构的语音识别模型，在多种公开可用的泰卢固语自动语音识别（ASR）语料库上微调而成，可用于泰卢固语的语音识别任务。

🚀 快速开始

本模型是 openai/whisper-large-v2 在多个公开可用的泰卢固语ASR语料库数据上的微调版本。它是 Whisper 微调冲刺项目的一部分。

注意：训练此模型的代码可在 whisper-finetune 仓库中复用。

✨ 主要特性

• 基于 Whisper-large-v2 模型微调，适用于泰卢固语语音识别。
• 提供了在整个数据集上的评估代码，以及使用 whisper-jax 进行快速推理的脚本。

📦 安装指南

文档未提及安装步骤，可参考 whisper-finetune 仓库获取安装相关信息。

💻 使用示例

基础用法

若要使用此模型对单个音频文件进行推理，可使用以下代码片段：

>>> import torch
>>> from transformers import pipeline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-telugu-large-v2", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

高级用法

若要对整个数据集评估此模型，可使用 whisper-finetune 仓库中的评估代码。该仓库还提供了使用 whisper-jax 进行快速推理的脚本。

对于 Whisper 模型的快速推理，可使用 whisper-jax 库。在使用以下代码片段之前，请按照 此处 提到的必要安装步骤进行操作：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-telugu-large-v2", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

📚 详细文档

训练和评估数据

• 训练数据：
  • CSTD IIIT-H ASR 语料库
  • ULCA ASR 语料库
  • Shrutilipi ASR 语料库
  • Microsoft 语音语料库（印度语言）
  • Google/Fleurs 训练+开发集
  • Babel ASR 语料库
• 评估数据：
  • Microsoft 语音语料库（印度语言）测试集
  • Google/Fleurs 测试集
  • OpenSLR
  • Babel 测试集

训练超参数

训练期间使用了以下超参数：

🔧 技术细节

本模型是在多个公开可用的泰卢固语ASR语料库上对 openai/whisper-large-v2 进行微调得到的。通过调整一系列超参数，如学习率、批次大小等，使得模型在泰卢固语语音识别任务上取得了较好的效果。评估指标采用了词错误率（WER），在测试集上的WER为 9.65。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 模型索引

🎉 致谢

本工作由 印度理工学院马德拉斯分校语音实验室 完成。

本工作的计算资源由印度电子和信息技术部（MeitY）的“Bhashini：国家语言翻译任务”项目资助。