Whisper Large V3 Turbo

🚀 希伯來語微調語音識別模型

本模型是對OpenAI Whisper Large v3 Turbo模型進行希伯來語微調（持續訓練）的成果，可用於希伯來語語音的自動轉錄。

🚀 快速開始

請參考原始的模型卡片獲取使用詳情，只需將模型名稱替換為本模型。你還可以在ivrit ai的Hugging Face頁面上找到其他權重格式和量化方式。

我們創建了一些使用此模型和權重的簡單示例腳本，適用於其他推理運行時。可在訓練GitHub倉庫的"examples"文件夾中找到這些腳本。

✨ 主要特性

• 語言針對性強：專為希伯來語語音轉錄而微調，在希伯來語音頻處理上表現出色。
• 多數據集訓練：使用多個數據集進行訓練，涵蓋不同類型的音頻數據，提升模型泛化能力。

📦 安裝指南

文檔未提及具體安裝步驟，可參考原始模型的安裝方式並替換為本模型。

📚 詳細文檔

模型詳情

模型描述

偏差、風險和限制

⚠️ 重要提示

此模型的語言檢測能力在訓練過程中有所下降，主要用於希伯來語音頻轉錄，使用時需將語言令牌明確設置為希伯來語。此外，翻譯任務未經過訓練且能力也有所下降，該模型無法進行合理的翻譯。

訓練詳情

訓練數據

本模型在以下數據集上進行訓練：

• ivrit-ai/crowd-transcribe-v5 - 公開可訪問的音頻源已逐段進行眾包轉錄，約300小時。
• ivrit-ai/crowd-recital-whisper-training - 眾包錄製的維基百科文章片段，約50小時。
• ivrit-ai/knesset-plenums-whisper-training - 以色列議會全會協議的一個子集，約325小時。

訓練過程

本模型是兩次相同設置運行中最低評估損失檢查點（大約在第2個訓練週期結束時）的加權平均值。訓練代碼可在ivrit-ai的Github 此處找到。

預處理

“Crowd Recital”和“Knesset”數據集包含符合Whisper預期輸入的時間戳和前文信息。這些數據集中40%的樣本使用了時間戳，50%的樣本使用了前文信息。

“Crowd Transcribe”數據集沒有時間戳或前文信息，此預處理僅包括梅爾頻譜特徵提取和文本編碼。

預處理代碼可在訓練代碼倉庫中找到。

數據集以0.15:0.8:0.05的比例（議會:眾包轉錄:眾包朗誦）進行交錯。

訓練超參數

• 訓練機制：使用bf16混合精度和sdpa
• 學習率：1e - 5，線性衰減，800步熱身，訓練3個週期
• 批量大小：32

訓練硬件/時長

• GPU類型：8 x Nvidia A40機器
• 時長：約9小時，在3個週期時停止

評估

請參考ivrit-ai/hebrew-transcription-leaderboard

📄 許可證

本模型使用Apache - 2.0許可證。