Whisper Large V3 Turbo

🚀 モデルIDのモデルカード

このモデルは、OpenAIのWhisper Large v3 Turboモデルをヘブライ語でファインチューニング（継続的なトレーニング）したものです。

✨ 主な機能

このモデルは、OpenAIのWhisper Large v3 Turboモデルをベースに、ヘブライ語での音声文字起こしに特化してファインチューニングされています。

📚 ドキュメント

モデルの詳細

モデルの説明

バイアス、リスク、制限事項

⚠️ 重要な注意事項

このモデルの言語検出機能はトレーニング中に低下しており、主にヘブライ語の音声文字起こしを目的としています。言語トークンは明示的にヘブライ語に設定する必要があります。

また、翻訳タスクはトレーニングされておらず、性能も低下しています。このモデルは合理的なレベルでの翻訳ができません。

モデルの使い方

💡 使用上のヒント

モデルの使用方法の詳細については、元のモデルカードに従って、モデル名をこのモデルに置き換えてください。

他の重み形式や量子化については、ivrit aiのHFページで確認できます。

このモデルと重みを使用した簡単なサンプルスクリプトを作成しています。トレーニング用のGitHubリポジトリ内の"examples"フォルダで見つけることができます。

トレーニングの詳細

トレーニングデータ

このモデルは、以下のデータセットを使用してトレーニングされました。

• ivrit-ai/crowd-transcribe-v5 - 公開されている音声ソースをセグメントごとにクラウドトランスクライブしたもの。約300時間。
• ivrit-ai/crowd-recital-whisper-training - Wikipediaの記事の断片をクラウドソーシングで録音したもの。約50時間。
• ivrit-ai/knesset-plenums-whisper-training - イスラエル国会の全会議録のサブセット。約325時間。

トレーニング手順

このモデルは、同じ設定で2回の別々の実行から得られた、評価損失が最も低いチェックポイント（エポック2の終わり近く）の加重平均です。トレーニングコードは、ivrit-aiのGitHub こちらで見つけることができます。

前処理

"crowd-recital"と"knesset"のデータセットには、Whisperが期待する入力形式に従ったタイムスタンプと前のテキストが含まれています。これらのデータセットのサンプルの40%からタイムスタンプを使用し、前のテキストの50%を使用しました。 "crowd-transcribe"データセットにはタイムスタンプや前のテキストがなく、この前処理ではメルスペクトル特徴抽出とテキストエンコーディングのみが行われました。 前処理コードは、トレーニングコードのリポジトリ内で見つけることができます。 データセットは、0.15:0.8:0.05の比率（knesset:crowd-transcribe:crowd-recital）でインターリーブされました。

トレーニングハイパーパラメータ

• トレーニング方式: bf16混合精度とsdpa
• 学習率: 1e-5、線形減衰、3エポックのために800ステップのウォームアップ
• バッチサイズ: 32

トレーニングハードウェア / 期間

• GPUタイプ: 8台のNvidia A40マシン
• 期間: 約9時間の実行、3エポックで停止

評価

評価については、ivrit-ai/hebrew-transcription-leaderboardを参照してください。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。