Whisper Finetune Teochew

🚀 潮州話正字識別モデル

このモデルは、潮州話（潮汕話）の正字識別（普通話への翻訳ではない）に用いられるWhisper - mediumの微調整バージョンです。微調整のコードは、夜雨飘零氏のGitHubリポジトリから取得しました。

🚀 クイックスタート

オンラインデモ

teochew_whisper

✨ 主な機能

本モデルは、潮州話の正字識別に特化しており、独自の正字法を用いたデータセットで微調整されています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

原READMEにコード例が記載されていないため、このセクションは省略します。

📚 ドキュメント

微調整データ

微調整訓練のデータは、teochew - wildに由来します。これは、初のオープンソースの野外収録の正字が正確にラベル付けされた多話者潮汕話データセットで、約18.9時間、合計12500個の潮汕話音声フラグメントを含み、潮州府城、汕頭市区、潮安南部、澄海、榕江音などの様々なアクセントを網羅しています。

文字の曖昧さ、多音字の過多、同義異体字などの問題を減らすために、このデータセットのラベル付けには、独自の**[歹看正字法](https://github.com/p1an - lin - jung/teochew - g2p/blob/master/doc/readme.md)** が採用されており、通常使用される諧音字や専門家による考証の本字ではありません。

これは、諧音字や専門家の案では、非常に曖昧さが生じやすいためです。例えば：

【个】で【的】を表す場合、【有个人】は【有一个人】なのか、【有的人】なのか分かりません。そのため、このデータセットでは【介】で【个】を置き換えています。
【只】で【这】を表す場合、【这只猫】、【这只车】は【只只猫】、【只只车】となり、非常に奇妙に見えます。そのため、このデータセットでは繁異字【祇】で【这】の意味を表し、その他の場合は普通話と同じです。

評価結果

12500個のデータを訓練セット、検証セット、テストセットにランダムに分割し、それぞれ11000、700、700個のデータとしました。RTX 3090で約10エポックの微調整訓練を行い、文字誤り率（CER）を評価指標として用いた結果は以下の通りです。 （論文の実験では、ラベルの同音異字を一部統一しています。例えば【仔】と【囝】、【二】と【两】など。そのため、より良い結果が得られています。）

🔧 技術詳細

原READMEに十分な技術的な詳細が記載されていないため、このセクションは省略します。

📄 ライセンス

このプロジェクトは、CC - BY - 4.0ライセンスの下で公開されています。