Whisper Large V3

🚀 モデルIDのモデルカード

このモデルは、OpenAI Whisper Large v3モデルをヘブライ語でファインチューニング（継続トレーニング）したものです。

✨ 主な機能

• ヘブライ語の音声を高精度に文字起こしすることができます。
• OpenAI Whisper Large v3モデルをベースにしているため、安定した性能を発揮します。

📚 ドキュメント

モデルの詳細

モデルの説明

バイアス、リスク、制限事項

このモデルの言語検出機能はトレーニング中に低下しています。主にヘブライ語の音声文字起こしを目的としており、言語トークンは明示的にヘブライ語に設定する必要があります。

また、翻訳タスクについてはトレーニングされておらず、性能も低下しています。このモデルは合理的なレベルでの翻訳ができません。

モデルの使い方

使用方法の詳細については、元のモデルカードを参照し、モデル名をこのモデルに置き換えてください。

また、他の重み形式や量子化については、ivrit aiのHFページで確認できます。

私たちは、このモデルと重みを使用した簡単なサンプルスクリプトを作成しています。トレーニング用のGitHubリポジトリ内の"examples"フォルダで見つけることができます。

トレーニングの詳細

トレーニングデータ

このモデルは以下のデータセットを使用してトレーニングされました。

• ivrit-ai/crowd-transcribe-v5 - 公開されている音声ソースをセグメントごとにクラウドトランスクライブしたもので、約300時間です。
• ivrit-ai/crowd-recital-whisper-training - Wikipediaの記事の断片をクラウドソーシングで収録したもので、約50時間です。
• ivrit-ai/knesset-plenums-whisper-training - イスラエル議会の全会議録のサブセットで、約325時間です。

トレーニング手順

このモデルは、同じトレーニングランからの評価損失が最も低い3つのチェックポイントの加重平均です。トレーニングコードは、ivrit - aiのGitHubのこちらで確認できます。

前処理

"Crowd Recital"と"Knesset"のデータセットには、Whisperが期待する入力形式に従ったタイムスタンプと前のテキストが含まれています。これらのデータセットから40％のサンプルのタイムスタンプと、50％の前のテキストが使用されました。

"Crowd Transcribe"のデータセットにはタイムスタンプや前のテキストがなく、この前処理ではメルスペクトル特徴抽出とテキストエンコーディングのみが行われました。

前処理コードは、トレーニングコードのリポジトリ内にあります。

データセットは、0.15:0.8:0.05の比率（knesset:crowd - transcribe:crowd - recital）でインターリーブされました。

トレーニングのハイパーパラメータ

• トレーニング方式：bf16混合精度とsdpa
• 学習率：1e - 5、線形減衰、5エポックのために800ステップのウォームアップ
• バッチサイズ：32

トレーニングのハードウェア / 期間

• GPUタイプ：8台のNvidia A40マシン
• 期間：約10時間の実行、2.2エポックで停止

評価

評価については、ivrit-ai/hebrew-transcription-leaderboardを参照してください。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。