Whisper Finetune Teochew

🚀 潮汕话正字识别模型

本模型基于Whisper-medium微调而来，专注于潮州话（潮汕话）正字识别，不涉及普通话翻译。微调代码源自夜雨飘零大佬的github仓库，为潮汕话语音识别提供了精准的解决方案。

🚀 快速开始

在线Demo

点击下方链接体验模型在线功能： teochew_whisper

✨ 主要特性

• 精准识别：针对潮州话正字进行识别，有效解决潮汕话语音识别难题。
• 丰富数据：使用首个开源的、野外的、正字准确标注的多说话人潮汕话数据集进行微调。
• 创新标注：采用自创的 歹看正字法 ，减少字面歧义、多音字过多、同义异体字等问题。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

模型简介

本模型是Whisper-medium的一个微调版本，用于对潮州话（潮汕话）的正字识别（并非翻译为普通话），微调的代码源自夜雨飘零大佬的github仓库。

微调数据

微调训练的数据来源于teochew-wild，这是首个开源的、野外的、正字准确标注的多说话人潮汕话数据集，包含约18.9小时、共12500条潮汕话音频片段，覆盖了潮州府城、汕头市区、潮安南部、澄海、榕江音等多种口音。

为了减少字面歧义、多音字过多、同义异体字等问题，该数据集的标注采用自创的 歹看正字法 ，而非通常使用的谐音字或者专家考证的本字。

这是因为在谐音字或者专家方案中，非常容易出现歧义，例如：

若用【个】表示【的】，那么【有个人】，究竟是【有一个人】，还是【有的人】呢？ 因此本数据集用【介】代替【个】。
若用【只】表示【这】，那么【这只猫】、【这只车】，便会写成【只只猫】、【只只车】，看起来非常怪异，因此本数据集用繁异字【祇】表示【这】之意，其他情况同普通话。

评估结果

我对12500条数据随机划分成训练集、验证集、测试集，分别有11000，700，700条数据。在RTX 3090上经过大约10个epoch的微调训练，采用字错误率（CER）作为评估指标，结果如下： (论文进行实验时，对标签的同音字进行了部分统一，如【仔】和【囝】【二】和【两】，所以得到了更好的效果)

🔧 技术细节

文档未提供具体的技术实现细节，暂不展示。

📄 许可证

本项目采用CC BY 4.0许可证。