Whisper Finetune Teochew

🚀 潮汕話正字識別模型

本模型基於Whisper-medium微調而來，專注於潮州話（潮汕話）正字識別，不涉及普通話翻譯。微調代碼源自夜雨飄零大佬的github倉庫，為潮汕話語音識別提供了精準的解決方案。

🚀 快速開始

在線Demo

點擊下方鏈接體驗模型在線功能： teochew_whisper

✨ 主要特性

• 精準識別：針對潮州話正字進行識別，有效解決潮汕話語音識別難題。
• 豐富數據：使用首個開源的、野外的、正字準確標註的多說話人潮汕話數據集進行微調。
• 創新標註：採用自創的 歹看正字法 ，減少字面歧義、多音字過多、同義異體字等問題。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

模型簡介

本模型是Whisper-medium的一個微調版本，用於對潮州話（潮汕話）的正字識別（並非翻譯為普通話），微調的代碼源自夜雨飄零大佬的github倉庫。

微調數據

微調訓練的數據來源於teochew-wild，這是首個開源的、野外的、正字準確標註的多說話人潮汕話數據集，包含約18.9小時、共12500條潮汕話音頻片段，覆蓋了潮州府城、汕頭市區、潮安南部、澄海、榕江音等多種口音。

為了減少字面歧義、多音字過多、同義異體字等問題，該數據集的標註採用自創的 歹看正字法 ，而非通常使用的諧音字或者專家考證的本字。

這是因為在諧音字或者專家方案中，非常容易出現歧義，例如：

若用【個】表示【的】，那麼【有個人】，究竟是【有一個人】，還是【有的人】呢？ 因此本數據集用【介】代替【個】。
若用【只】表示【這】，那麼【這隻貓】、【這隻車】，便會寫成【只只貓】、【只只車】，看起來非常怪異，因此本數據集用繁異字【祇】表示【這】之意，其他情況同普通話。

評估結果

我對12500條數據隨機劃分成訓練集、驗證集、測試集，分別有11000，700，700條數據。在RTX 3090上經過大約10個epoch的微調訓練，採用字錯誤率（CER）作為評估指標，結果如下： (論文進行實驗時，對標籤的同音字進行了部分統一，如【仔】和【囝】【二】和【兩】，所以得到了更好的效果)

🔧 技術細節

文檔未提供具體的技術實現細節，暫不展示。

📄 許可證

本項目採用CC BY 4.0許可證。