🚀 Whisper Hindi Large-v2
本模型是在多个公开可用的印地语自动语音识别(ASR)语料库数据上,对 openai/whisper-large-v2 进行微调得到的。它是 Whisper 微调冲刺项目的一部分。
模型指标
属性 |
详情 |
支持语言 |
印地语 |
许可证 |
Apache-2.0 |
标签 |
whisper-event |
评估指标 |
词错误率(WER) |
模型评估结果
任务 |
数据集 |
评估指标 |
值 |
自动语音识别 |
google/fleurs (hi_in 配置,测试集) |
WER |
6.8 |
自动语音识别 |
mozilla-foundation/common_voice_11_0 (hi 配置,测试集) |
WER |
10.98 |
🚀 快速开始
本模型可用于印地语的自动语音识别任务。训练此模型的代码可在 whisper-finetune 仓库中复用。
💻 使用示例
基础用法
若要使用此模型对单个音频文件进行转录,可使用以下代码片段:
>>> import torch
>>> from transformers import pipeline
>>>
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"
>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-hindi-large-v2", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")
>>> print('Transcription: ', transcribe(audio)["text"])
高级用法
若要对整个数据集评估此模型,可使用 whisper-finetune 仓库中的评估代码。该仓库还提供了使用 whisper-jax
进行快速推理的脚本。
为了使用 whisper-jax
库进行更快的推理,请先按照 此处 提到的必要安装步骤进行操作,然后使用以下代码片段:
>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline
>>>
>>> audio = "/path/to/audio.format"
>>> transcribe = FlaxWhisperPipline("vasista22/whisper-hindi-large-v2", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="hi", task="transcribe")
>>> print('Transcription: ', transcribe(audio)["text"])
📚 详细文档
训练和评估数据
训练超参数
训练过程中使用了以下超参数:
- 学习率:0.75e-05
- 训练批次大小:8
- 评估批次大小:24
- 随机种子:22
- 优化器:adamw_bnb_8bit
- 学习率调度器类型:线性
- 学习率调度器热身步数:25000
- 训练步数:57000(初始设置为 116255 步)
- 混合精度训练:开启
🔧 技术细节
本模型基于 openai/whisper-large-v2
进行微调,在多个公开的印地语 ASR 语料库上进行训练。训练过程中使用了特定的超参数和优化器,以提高模型在印地语语音识别任务上的性能。
📄 许可证
本项目采用 Apache-2.0 许可证。
致谢
本工作由 印度理工学院马德拉斯分校语音实验室 完成。计算资源由印度电子和信息技术部(MeitY)的 “Bhashini:国家语言翻译使命” 项目资助。