Teochew Whisper Medium

🚀 潮汕语Whisper Medium模型

本模型是Whisper medium模型的微调版本，用于识别潮汕话（潮州话），这是一种在中国南方使用的闽南语系语言。该模型能够有效助力潮汕话的语音识别场景，为潮汕话相关的语音处理提供了有力支持。

🚀 快速开始

示例代码

以下脚本可用于下载模型，并使用Gradio启动一个运行该模型的演示：

import torch
import torchaudio
from transformers import WhisperProcessor, WhisperForConditionalGeneration
import gradio as gr

DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")
WHISPER_SAMPLE_RATE = 16000

processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
model = WhisperForConditionalGeneration.from_pretrained(
    "efficient-nlp/teochew-whisper-medium"
).to(DEVICE)


def preprocess_audio(audio_path: str) -> torch.Tensor:
    audio, sample_rate = torchaudio.load(audio_path)
    # Resample if necessary
    if sample_rate != WHISPER_SAMPLE_RATE:
        resampler = torchaudio.transforms.Resample(
            orig_freq=sample_rate, new_freq=WHISPER_SAMPLE_RATE
        )
        audio = resampler(audio)
    # Convert to mono
    if audio.shape[0] > 1:
        audio = torch.mean(audio, dim=0)
    return audio.squeeze()


def transcribe(audio_path: str) -> str:
    audio_input = preprocess_audio(audio_path)
    input_features = processor(
        audio_input,
        sampling_rate=WHISPER_SAMPLE_RATE,
        return_tensors="pt",
        language="Chinese",
    ).input_features.to(DEVICE)

    predicted_ids = model.generate(input_features)
    transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
    return transcription


iface = gr.Interface(
    fn=transcribe,
    inputs=gr.Audio(type="filepath"),
    outputs="text",
    title="Teochew Speech Recognition",
)
iface.launch()

📚 详细文档

关于该模型的训练详细文档，请参考此视频：https://www.youtube.com/watch?v=JH_78KmP4Zk

🔧 技术细节

训练数据

该模型在约35小时的潮汕语电影、电视剧和喜剧音频数据上进行了微调。

评估指标

在我们的私有测试集上，我们获得了以下单词错误率（WER）指标：

• 严谨语音：0.31
• 对话语音：0.68

已知局限性

该模型是在短音频片段上进行训练的，对于超过10秒的音频可能处理效果不佳。

📄 许可证

本项目采用MIT许可证。