Whisper Large V3 Turbo Swissgerman

🚀 微調版Whisper Large V3 Turbo模型

本項目是基於OpenAI的Whisper Large V3 Turbo模型微調的版本，專門針對瑞士德語方言進行了優化。該模型在瑞士德語自動語音識別（ASR）任務中達到了當前最優性能。

🚀 快速開始

由於部分數據集的許可問題，該模型已被下架。

✨ 主要特性

• 基於Whisper Large V3 Turbo基礎模型。
• 採用QLoRa（8位精度）方法進行微調。
• 在瑞士德語自動語音識別任務中表現出色。

📚 詳細文檔

模型概述

性能指標

• 單詞錯誤率（WER）：17.5%
• BLEU分數：65.0

該模型的性能在多個代表瑞士德語不同方言和人口分佈的數據集上進行了評估。

數據集概述

該模型在一系列瑞士德語數據集上進行了訓練和評估：

1. SDS - 200語料庫
   • 規模：200小時
   • 描述：涵蓋所有瑞士德語方言的語料庫。
2. STT4SG - 350
   • 規模：343小時
   • 描述：在瑞士德語方言和人口統計方面分佈均衡，包括性別代表性。
   • 數據集鏈接
3. SwissDial - Zh v1.1
   • 規模：24小時
   • 描述：瑞士德語方言均衡表示的數據集。
   • 數據集鏈接
4. 瑞士議會語料庫V2（SPC）
   • 規模：293小時
   • 描述：涵蓋瑞士德語方言的議會錄音。
   • 數據集鏈接
5. ASGDTS（所有瑞士德語方言測試集）
   • 規模：13小時
   • 描述：與現實世界瑞士德語方言分佈非常相似的分層數據集。
   • 數據集鏈接

各數據集上的結果

WER分數

BLEU分數

可視化結果

各數據集上的WER和BLEU分數

各數據集上的WER分數

各數據集上的BLEU分數

使用方法

該模型可以直接與Hugging Face Transformers庫一起使用，用於需要瑞士德語自動語音識別的任務。

📄 許可證

本項目採用MIT許可證。

🙏 致謝

特別感謝以下數據集的創建者和維護者：

• Swiss NLP
• ETH Zurich
• FHNW

同時感謝日內瓦大學允許我們使用其高性能計算集群來訓練該模型。

📖 引用

如果您在工作中使用了該模型，請按以下方式引用本倉庫：

@misc{whisper-large-v3-turbo-swissgerman,
  author = {Nizar Michaud},
  title = {Whisper Large V3 Turbo Fine-Tuned for Swiss German},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/nizarmichaud/whisper-large-v3-turbo-swissgerman},
  doi = 10.57967/hf/3858,
}