Belle Whisper Large V3 Zh Punct

🚀 Belle-whisper-large-v3-zh-punct

このモデルは、whisper-large-v3-zhをファインチューニングして、中国語の句読点機能を強化し、同等の性能を維持します。Belle-whisper-large-v3-zh-punctは、AISHELL1、AISHELL2、WENETSPEECH、HKUSTなどの中国語の自動音声認識ベンチマークで、Belle-whisper-large-v3-zhと同様の性能を示します。

🚀 クイックスタート

このモデルが役に立つと思ったら、このモデルを「いいね」し、https://github.com/LianjiaTech/BELLE と https://github.com/shuaijiang/Whisper-Finetune でスターをつけてください。

✨ 主な機能

• 中国語の句読点機能を強化しつつ、同等の性能を維持します。
• 中国語の自動音声認識ベンチマークで、Belle-whisper-large-v3-zhと同様の性能を示します。

📦 インストール

このセクションではインストールに関する具体的な内容がありませんので、スキップします。

💻 使用例

基本的な使用法

from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition", 
  model="BELLE-2/Belle-whisper-large-v3-zh-punct"
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh", 
    task="transcribe"
  )
)

transcription = transcriber("my_audio.wav") 

📚 ドキュメント

モデル情報

ファインチューニング情報

句読点を性能を損なわずに組み込むために、Loraファインチューニングが採用されました。独自のデータセットでモデルをファインチューニングする場合は、GitHubリポジトリを参照してください。

CER(%) 比較

Belle-whisper-large-v3-zh-punctは、Belle-whisper-large-v3-zhと比較して、複雑な音響シーン（wenetspeech_meetingなど）でもわずかな改善が見られます。また、CERを計算する際には、Belle-whisper-large-v3-zh-punctの句読点は削除されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

コード、データ、またはモデルを使用する際には、以下の論文とGitHubを引用してください。

@misc{BELLE,
  author = {BELLEGroup},
  title = {BELLE: Be Everyone's Large Language model Engine},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}