Multilingual Distilwhisper 28k

🚀 多語言Distilwhisper

多語言Distilwhisper在whisper-small基礎上添加輕量級CLSR模塊，提升了目標語言的自動語音識別（ASR）性能。該模塊通過結合交叉熵（ASR）和知識蒸餾損失進行訓練，以whisper-large-v2作為教師模型。

項目信息

🚀 快速開始

推理代碼

訓練和推理代碼請見：https://github.com/naver/multilingual-distilwhisper

📚 詳細文檔

多語言Distilwhisper通過在whisper-small模型之上添加輕量級CLSR模塊，實現了在目標語言上更出色的自動語音識別（ASR）性能。這些模塊是在交叉熵（ASR）和知識蒸餾損失的混合訓練下得到的，其中使用whisper-large-v2作為教師模型。更多詳細信息請參考ICASSP 2024的論文：arxiv.org/abs/2311.01070

📄 許可證

本項目採用MIT許可證。

📚 引用信息

如果您使用了本項目，請引用以下論文：

@inproceedings{ferraz2024distilwhisper,
  title={Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts},
  author={Ferraz, Thomas Palmeira and Boito, Marcely Zanon and Brun, Caroline and Nikoulina, Vassilina},
  booktitle={ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2024},
  organization={IEEE}
}