Whisper Large Pt Cv11

🚀 葡萄牙语大模型Whisper

该模型是基于 openai/whisper-large-v2，使用 通用语音11 的训练集和验证集在葡萄牙语上进行微调的版本。在训练过程中，并非使用了所有验证集数据，而是从验证集中抽取了1000个样本用于微调期间的评估。

🚀 快速开始

模型信息

许可证

本项目采用 Apache-2.0 许可证。

标签

• whisper-event
• generated_from_trainer

✨ 主要特性

• 基于 Whisper 大模型进行微调，在葡萄牙语语音识别任务上表现出色。
• 支持对原始文本和归一化文本进行评估。
• 可处理不同数据集，包括训练时使用的数据集和未见过的数据集。

💻 使用示例

基础用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="jonatasgrosman/whisper-large-pt-cv11"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="pt", 
    task="transcribe"
  )
)

transcription = transcriber("path/to/my_audio.wav")

📚 详细文档

评估

使用两个数据集的测试集对模型进行了评估，分别是 通用语音11（与微调时使用的数据集相同）和 Fleurs（微调时未见过的数据集）。由于 Whisper 可以转录大小写和标点符号，因此在两种不同的场景下对模型进行了评估，一种使用原始文本，另一种使用归一化文本（小写 + 去除标点符号）。此外，对于 Fleurs 数据集，还在没有数值转录的场景下对模型进行了评估，因为该数据集中数值的描述方式与微调时使用的数据集（通用语音）不同，所以预计这种数值描述方式的差异会影响模型在 Fleurs 中此类转录的性能。

通用语音11

Fleurs

📄 许可证

本项目采用 Apache-2.0 许可证。