Whisper Hindi Large V2

🚀 Whisper Hindi Large-v2

本模型是在多个公开可用的印地语自动语音识别（ASR）语料库数据上，对 openai/whisper-large-v2 进行微调得到的。它是 Whisper 微调冲刺项目的一部分。

模型指标

模型评估结果

🚀 快速开始

本模型可用于印地语的自动语音识别任务。训练此模型的代码可在 whisper-finetune 仓库中复用。

💻 使用示例

基础用法

若要使用此模型对单个音频文件进行转录，可使用以下代码片段：

>>> import torch
>>> from transformers import pipeline

>>> # 待转录音频文件的路径
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-large-v2", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

高级用法

若要对整个数据集评估此模型，可使用 whisper-finetune 仓库中的评估代码。该仓库还提供了使用 whisper-jax 进行快速推理的脚本。

为了使用 whisper-jax 库进行更快的推理，请先按照 此处 提到的必要安装步骤进行操作，然后使用以下代码片段：

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # 待转录音频文件的路径
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-large-v2", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

📚 详细文档

训练和评估数据

• 训练数据：
  • GramVaani ASR 语料库
  • ULCA ASR 语料库
  • Shrutilipi ASR 语料库
  • Google/Fleurs 训练集 + 开发集
• 评估数据：
  • GramVaani ASR 语料库测试集
  • Google/Fleurs 测试集

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.75e-05
• 训练批次大小：8
• 评估批次大小：24
• 随机种子：22
• 优化器：adamw_bnb_8bit
• 学习率调度器类型：线性
• 学习率调度器热身步数：25000
• 训练步数：57000（初始设置为 116255 步）
• 混合精度训练：开启

🔧 技术细节

本模型基于 openai/whisper-large-v2 进行微调，在多个公开的印地语 ASR 语料库上进行训练。训练过程中使用了特定的超参数和优化器，以提高模型在印地语语音识别任务上的性能。

📄 许可证

本项目采用 Apache-2.0 许可证。

致谢

本工作由 印度理工学院马德拉斯分校语音实验室 完成。计算资源由印度电子和信息技术部（MeitY）的 “Bhashini：国家语言翻译使命” 项目资助。