Whisper Large Et

🚀 Whisper-large-et

このモデルは、約1200時間の多様なエストニア語データで微調整されたWhisper-large-v2モデル openai/whisper-large-v2 です。

📚 ドキュメント

モデルの説明

これは、TalTechの言語技術研究所で学習された汎用的なエストニア語の自動音声認識（ASR）モデルです。

想定される用途と制限

このモデルは、放送会話、インタビュー、講演などの汎用的な音声認識に使用することを想定しています。

使用方法

推奨: faster-whisper を使用します。

基本的な使用法

• HFモデルをCT2形式に変換する:

ct2-transformers-converter --model TalTechNLP/whisper-large-et --output_dir whisper-large-et.ct2  --copy_files tokenizer.json --quantization float16

• デコードする:

whisper-ctranslate2 --model_directory whisper-large-et.ct2 --task transcribe --language et --beam_size 5 some_file.mp3

制限とバイアス

このモデルは主に放送音声とウェブ上のテキストで学習されているため、以下の音声のデコードに問題が生じる可能性があります。

• 技術用語や特定のドメイン用語を含む音声
• 子供の音声
• 非ネイティブの音声
• 非常にノイズの多い環境で録音された音声、または話者から離れたマイクで録音された音声
• 非常に即興的で重複する音声

学習データ

音響学習データ:

学習手順

Espnetを使用して微調整し、その後 この スクリプトを使用してtransformers形式に変換しました。微調整手順は この モデルと類似しています。微調整は3エポック行い、学習の最後にモデルの平均化を行いました。

更新: 2023年10月3日版のモデルは、長いセグメントで学習されている（元のWhisperモデルと同様）ため、例えば faster-whisper を使用して長い音声録音を「エンドツーエンド」で文字起こしするのに特に適しています（つまり、事前のセグメンテーションなしで）。

評価結果

WER

以下のWER結果は、貪欲デコード（つまり、ビームサイズ1）を使用して得られました。

📄 ライセンス

このモデルはCC-BY-4.0ライセンスの下で提供されています。