Phi 4 Multimodal Instruct Ko Asr

🚀 Phi-4-multimodal-instruct-ko-asr 模型

本模型主要用於韓語自動語音識別和翻譯，基於預訓練模型微調而來，在多個數據集上進行了評估，展現出了良好的性能。

🚀 快速開始

此模型是在 microsoft/Phi-4-multimodal-instruct 的基礎上，於 Bingsu/zeroth-korean 和 google/flerus 數據集上進行了 5 個輪次的微調。

該模型在 H100 上針對韓語音頻語音識別數據集進行了 960 步的訓練。之後，我們繼續使用 CoVoST2 數據集 / CoVoST2-Ko 進行自動語音翻譯（AST）的訓練。

AST 微調後的模型地址為：Phi-4-multimodal-instruct-ko-speech

📚 詳細文檔

模型信息

評估

評估在以下數據集上進行：

• 自動語音識別（ASR）：在 zeroth-test 集（457 個樣本）上使用字符錯誤率（CER）進行評估。
• 自動語音翻譯（AST）：在 fleurs 韓語 <-> 英語語音翻譯結果（270 個樣本）上使用 BLEU 分數進行評估。

評估腳本可從 此處 獲取。

與 Phi-4-mm-inst-zeroth-kor 和 Phi-4-multimodal-finetune-ko-speech 相比，本模型的自動語音識別（ASR）性能有顯著提升。