Multilingual Distilwhisper 28k

🚀 多语言Distilwhisper

多语言Distilwhisper在whisper-small基础上添加轻量级CLSR模块，提升了目标语言的自动语音识别（ASR）性能。该模块通过结合交叉熵（ASR）和知识蒸馏损失进行训练，以whisper-large-v2作为教师模型。

项目信息

🚀 快速开始

推理代码

训练和推理代码请见：https://github.com/naver/multilingual-distilwhisper

📚 详细文档

多语言Distilwhisper通过在whisper-small模型之上添加轻量级CLSR模块，实现了在目标语言上更出色的自动语音识别（ASR）性能。这些模块是在交叉熵（ASR）和知识蒸馏损失的混合训练下得到的，其中使用whisper-large-v2作为教师模型。更多详细信息请参考ICASSP 2024的论文：arxiv.org/abs/2311.01070

📄 许可证

本项目采用MIT许可证。

📚 引用信息

如果您使用了本项目，请引用以下论文：

@inproceedings{ferraz2024distilwhisper,
  title={Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts},
  author={Ferraz, Thomas Palmeira and Boito, Marcely Zanon and Brun, Caroline and Nikoulina, Vassilina},
  booktitle={ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2024},
  organization={IEEE}
}