Phi 4 Multimodal Instruct Ko Asr

🚀 Phi-4-multimodal-instruct-ko-asr

このモデルは、自動音声認識（ASR）と自動音声翻訳（AST）のタスクに特化したモデルです。microsoft/Phi-4-multimodal-instruct をベースに、特定のデータセットでファインチューニングすることで、韓国語の音声認識と翻訳性能を向上させています。

🚀 クイックスタート

このモデルは、microsoft/Phi-4-multimodal-instruct を Bingsu/zeroth-korean と google/flerus のデータセットで5エポックにわたってファインチューニングしています。また、韓国語の音声認識用のデータセットでH100上で960ステップのトレーニングを行っています。その後、CoVoST2 Dataset / CoVoST2-Ko を用いてASTのための追加トレーニングを行っています。

ASTでファインチューニングされたモデルはこちらにあります: Phi-4-multimodal-instruct-ko-speech

📚 ドキュメント

評価

評価は以下のデータセットで行われました:

• ASR（自動音声認識）: zeroth-testセット（457サンプル）でCER（文字誤り率）を用いて評価。
• AST（自動音声翻訳）: fleurs ko <-> enの音声翻訳結果（270サンプル）でBLEUスコアを用いて評価。

評価スクリプトは こちら から取得できます。

Phi-4-mm-inst-zeroth-kor および Phi-4-multimodal-finetune-ko-speech と比較して、ASRの性能が大幅に向上しています。

モデル情報