Whisper Base.kk

🚀 Whisper

低リソースのカザフ語の自動音声認識（ASR）に特化したWhisper-baseモデルです。このモデルは、1000時間以上のラベル付きデータを持つKazakh Speech Corpus 2 でファインチューニングされ、テストセットで15.36%のWERを達成しました。

🚀 クイックスタート

このモデルはカザフ語の音声認識に特化しており、カザフ語以外の音声認識には使用できません。

✨ 主な機能

• 低リソースのカザフ語の自動音声認識に特化。
• 1000時間以上のラベル付きデータでファインチューニング。
• テストセットで15.36%のWERを達成。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

>>> from transformers import WhisperProcessor, WhisperForConditionalGeneration
>>> import librosa

>>> # load model and processor
>>> processor = WhisperProcessor.from_pretrained("akuzdeuov/whisper-base.kk")
>>> model = WhisperForConditionalGeneration.from_pretrained("akuzdeuov/whisper-base.kk")

>>> # load your audio
>>> audio, sampling_rate = librosa.load("path_to_audio", sr=16000)
>>> input_features = processor(audio, sampling_rate=sampling_rate, return_tensors="pt").input_features 

>>> # generate token ids
>>> predicted_ids = model.generate(input_features)
>>> # decode token ids to text
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)

>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

コンテキストトークンは、skip_special_tokens=Trueを設定することで、文字起こしの先頭から削除できます。

高度な使用法

>>> import torch
>>> from transformers import pipeline

>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> pipe = pipeline(
>>>   "automatic-speech-recognition",
>>>   model="akuzdeuov/whisper-base.kk",
>>>   chunk_length_s=30,
>>>   device=device,
>>> )

>>> prediction = pipe("path_to_audio", batch_size=8)["text"]

Whisperモデルは本来、最大30秒の音声サンプルで動作するように設計されています。しかし、チャンキングアルゴリズムを使用することで、任意の長さの音声サンプルの文字起こしに使用できます。これは、Transformersのpipeline メソッドを通じて可能です。パイプラインをインスタンス化する際にchunk_length_s=30を設定することで、チャンキングが有効になり、バッチ推論で実行できます。

📚 ドキュメント

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

🔍 参照

1. Whisper, OpenAI.