Whisper Small Ko Low Qual Voice

🚀 whisper-small-ko-finetunedのモデルカード

このモデルは、SungBeom/whisper-small-ko モデルを、カスタムの韓国語音声認識データセットでファインチューニングしたバージョンです。
韓国語の音声データに対する自動音声認識（ASR）を行い、検証セットで高い性能を発揮します。

🚀 クイックスタート

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import torch

model = WhisperForConditionalGeneration.from_pretrained("your-username/whisper-small-ko-finetuned")
processor = WhisperProcessor.from_pretrained("your-username/whisper-small-ko-finetuned")

# Input: 16kHz waveform (float32 numpy or tensor)
inputs = processor(audio_waveform, sampling_rate=16000, return_tensors="pt")

with torch.no_grad():
    predicted_ids = model.generate(inputs.input_features)

transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription[0])

✨ 主な機能

• 韓国語の自動音声認識（ASR）
• 韓国語音声データのオフラインまたはバッチ文字起こし
• 韓国語の音声アシスタントシステムへの統合
• 特定ドメインのデータセットでのさらなるファインチューニング
• 韓国語ASRモデルの頑健性や多言語Whisperモデルに関する研究

📚 ドキュメント

モデルの詳細

モデルの説明

このモデルは、Whisper-smallアーキテクチャに基づいており、Hugging Face TransformersとPyTorchを使用して、62,327の韓国語音声と文字起こしのペアでファインチューニングされています。
一般ドメインの韓国語音声認識（会話、放送、ニュースなど）を目的として設計されています。

モデルのソース

• リポジトリ：[https://huggingface.co/kimthegarden/whisper-small-ko-low-qual-voice]
• ノートブック：カスタムの whisper_finetuning.ipynb を使用してファインチューニング
• デモ [オプション]：[利用可能な場合はGradioまたはStreamlitのデモリンク]

使用方法

直接利用

• 韓国語の自動音声認識（ASR）
• 韓国語音声データのオフラインまたはバッチ文字起こし
• 韓国語の音声アシスタントシステムへの統合

下流利用

• 特定ドメインのデータセット（例：法律、医療、教育）でのさらなるファインチューニング
• 韓国語ASRモデルの頑健性や多言語Whisperモデルに関する研究

対象外の利用

• 非韓国語の音声の文字起こし（このモデルは韓国語専用）
• リアルタイムストリーミングASR（レイテンシが最適化されていない）
• 他の言語へのゼロショットまたはフューショット適応

バイアス、リスク、および制限

• このモデルは、以下の場合に精度が低下する可能性があります：
  • 学習データに含まれていない地域の方言やアクセント
  • 非常にノイズの多い環境
  • 子供の音声や非ネイティブの発音
• このモデルは、異なる話者（性別、年齢など）間の公平性についてテストされていません。

⚠️ 重要提示

このモデルは、学習データに含まれていない地域の方言やアクセント、非常にノイズの多い環境、子供の音声や非ネイティブの発音などでは精度が低下する可能性があります。また、異なる話者間の公平性についてはテストされていません。

💡 使用建议

モデルをデプロイする前に、特定のデータドメインでテストすることをおすすめします。また、教育や医療などのセンシティブな用途では、追加のファインチューニングやデータフィルタリングが必要になる場合があります。

📄 ライセンス

MIT

🔗 お問い合わせ

jwk20001007@gmail.com