Whosper Large V2

🚀 Whosper-large-v2

Whosper-large-v2是一款前沿的語音識別模型，專為塞內加爾的主要語言沃洛夫語量身定製。它基於OpenAI的Whisper-large-v2構建，在單詞錯誤率（WER）和字符錯誤率（CER）方面有顯著改進，推動了非洲語言處理的發展。無論是轉錄對話、開發語言學習工具還是進行研究，該模型都適用於處理沃洛夫語語音數據的研究人員、開發者和學生。

🚀 快速開始

安裝

pip install git+https://github.com/sudoping01/whosper.git

基礎用法

from whosper import WhosperTranscriber

# Initialize the transcriber
transcriber = WhosperTranscriber(model_id="CAYTU/whosper-large-v2") 

# Transcribe an audio file
result = transcriber.transcribe_audio("path/to/your/audio.wav")
print(result)

✨ 主要特性

• 卓越的代碼切換能力：能夠處理自然的沃洛夫語 - 法語/英語混合，反映現實世界的語音模式。
• 多語言支持：除了沃洛夫語，在法語和英語方面也表現出色。
• 可用於生產環境：經過全面測試和優化，適合部署。
• 開源：根據apache - 2.0許可證發佈，非常適合研究和開發。
• 專注非洲自然語言處理：有助於實現全面支持非洲語言的更廣泛目標。

📚 詳細文檔

模型概述

Whosper-large-v2是一款前沿的語音識別模型，專為塞內加爾的主要語言沃洛夫語量身定製。它基於OpenAI的Whisper-large-v2構建，在單詞錯誤率（WER）和字符錯誤率（CER）方面有顯著改進，推動了非洲語言處理的發展。無論是轉錄對話、開發語言學習工具還是進行研究，該模型都適用於處理沃洛夫語語音數據的研究人員、開發者和學生。

性能指標

• WER：0.2345
• CER：0.1101

數值越低，準確性越高，非常適合實際應用！

性能對比

關鍵特性

• 與whosper-large相比，WER和CER有所改善。
• 針對沃洛夫語和法語識別進行了優化。
• 在雙語內容上表現更優。

侷限性

• 與whosper-large相比，在英語方面性能有所下降。
• 與whosper-large相比，對通用多語言內容的處理效果較差。
• 在音頻質量非常差的情況下表現不佳。

訓練數據

該模型在多樣化的沃洛夫語語音數據上進行訓練：

• ALFFA公共數據集
• FLEURS數據集
• Bus Urbain數據集
• Anta Women TTS數據集
• Kallama數據集

這種多樣性確保了模型在以下方面表現出色：

• 說話風格和方言
• 代碼切換模式
• 性別和年齡組
• 錄音條件

訓練結果

框架版本

• PEFT: 0.14.1.dev0
• Transformers: 4.49.0.dev0
• PyTorch: 2.5.1+cu124
• Datasets: 3.2.0
• Tokenizers: 0.21.0

為非洲自然語言處理做貢獻

Whosper-large-v2體現了我們對開放科學和非洲語言技術發展的承諾。我們相信，通過免費提供前沿的語音識別模型，我們可以加速非洲自然語言處理的發展。

加入我們實現人工智能技術民主化的使命：

• 開放科學：使用並基於我們的研究進行構建 - 所有代碼、模型和文檔均為開源。
• 數據貢獻：分享您的沃洛夫語語音數據集，以幫助提高模型性能。
• 研究合作：將Whosper集成到您的研究項目中並分享您的發現。
• 社區建設：幫助我們創建非洲語言處理資源。
• 教育影響：在教育環境中使用Whosper，培養下一代非洲人工智能研究人員。

我們共同努力，可以確保非洲語言在未來的人工智能技術中得到充分體現。無論您是研究人員、開發者、教育工作者還是語言愛好者，您的貢獻都有助於縮小技術差距。

📄 許可證

Apache License 2.0

該模型根據Apache 2.0許可證發佈，以鼓勵在非洲語言技術領域進行研究、商業使用和創新，同時確保適當的歸屬和專利保護。您可以自由地：

• 商業使用該模型
• 修改和分發該模型
• 創建衍生作品
• 將該模型用於專利目的

選擇Apache 2.0符合我們開放科學和推進非洲自然語言處理的目標，同時為社區提供必要的保護。

引用

@misc{whosper2025,
  title={Whosper-large: A Multilingual ASR Model for Wolof with Enhanced Code-Switching Capabilities},
  author={Seydou DIALLO},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/CAYTU/whosper-large},
  version={1.0}
}

致謝

該模型由Caytu Robotics人工智能部門的Seydou DIALLO開發，基於OpenAI的Whisper-large-v2。特別感謝講沃洛夫語的社區和為非洲語言技術發展做出貢獻的人員。

聯繫我們

如有任何問題或需要支持，請聯繫我們。

郵箱：sdiallo@caytu.com

信息表格