Belle Whisper Large V3 Zh

🚀 Belle-whisper-large-v3-zh

Whisper-large-v3をファインチューニングし、中国語の音声認識能力を向上させたモデルです。AISHELL1、AISHELL2、WENETSPEECH、HKUSTなどの中国語ASRベンチマークで、性能が24 - 65% 相対的に向上しています。

🚀 クイックスタート

このモデルが役に立った場合は、モデルを「いいね」し、https://github.com/LianjiaTech/BELLE と https://github.com/shuaijiang/Whisper-Finetune でスターをつけてください。

✨ 主な機能

Belle-whisper-large-v3-zhは、whisper-large-v3をファインチューニングして中国語の音声認識能力を強化しています。中国語のASRベンチマークで、大幅な性能向上を示しています。

💻 使用例

基本的な使用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="BELLE-2/Belle-whisper-large-v3-zh"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh", 
    task="transcribe"
  )
)

transcription = transcriber("my_audio.wav") 

📚 ドキュメント

ファインチューニング

独自のデータセットでモデルをファインチューニングする場合は、GitHubリポジトリを参照してください。

CER(%) ↓

Belle-whisper-large-v3-zhは、Belle-whisper-large-v2-zhと比較して、複雑な音響シーン（wenetspeech_meetingなど）で大幅な性能向上を示しています。

引用

このコード、データ、またはモデルを使用する場合は、以下の論文とGitHubを引用してください。

@misc{BELLE,
  author = {BELLEGroup},
  title = {BELLE: Be Everyone's Large Language model Engine},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。