Whisper Ja Anime V0.1

🚀 日語自動語音識別模型

本項目專注於日語自動語音識別，目標是實現準確的日語轉錄，尤其聚焦於動漫相關領域，避免生成無中生有的內容，並可作為現有模型的直接替代品。

🚀 快速開始

當前文檔未提供快速開始的具體內容，若有相關需求，可根據項目後續更新獲取。

✨ 主要特性

• 日語轉錄：旨在實現準確的日語語音轉錄。
• 聚焦動漫領域：重點關注動漫相關的語音數據。
• 避免幻覺：防止生成無中生有的轉錄內容。
• 可直接替代：經過訓練，可作為現有模型的直接替代品。

📚 詳細文檔

目標

• 實現日語轉錄。
• 聚焦於動漫相關領域。
• 避免生成無中生有的內容。
• 可作為現有模型的直接替代品（訓練時 50% 使用提示，25% 不使用時間戳）。

致謝

• 訓練集：OOPPEENN、Reazon、Common Voice 19、小蟲哥_、deepghs
• 驗證集：simon3000、grider-withourai、kotoba-tech
• 測試集：KitsuneX07、TEDxJP

測試集結果

參數說明：

• b1：beam_size = 1
• b5：beam_size = 5
• n5：no_repeat_ngram_size = 5
• nt：<|notimestamps|>

結果分析：

• 與 anime - whisper 相比，動漫相關數據集的表現稍差，但優於 turbo（域外數據）。
• 使用 faster - whisper 對來自 TEDxJP - 10K 的 273 個帶有 YouTube 字幕的視頻進行長文本測試，性能略遜於 turbo。Kotoba/anime - whisper 未針對長文本進行訓練。

驗證集結果

驗證集僅用於超參數優化。

數據集說明：

• bluearchive.wiki：beam 5 由於額外使用假名，性能更差。是否從米哈遊遊戲中學習到了相關特徵？
• genshin5.1：在 5.0 版本上訓練，使用 5.1 版本的新音頻，可能存在少量重疊。
• nekopara：用於幻覺測試，如果不是幻覺增加，動漫相關模型的表現會更好。OpenAI 模型在此數據集上無法使用。
• genshin/starrail：大部分數據在訓練集中。
• reazon：轉錄背景/次要音頻時，字符錯誤率（CER）顯著升高。
• jsut：表現出人意料地好？
• cv8：cv19 訓練集包含部分 cv8 測試集數據。
• cv19：無數據汙染，但在處理口音時存在困難。
• jsl：動漫數據集。
• loopers：動漫數據集，包含易產生幻覺的音頻。
• tedxjp：10 個視頻的子集。詳見測試集的相關注釋。b1 = 批量處理，b5 = 順序處理，beam_size = 1，temperature = 0，condition_on_previous_text = False

🔧 技術細節

模型採用 WIP turbo encoder 凍結 + 2 層解碼器架構，以批量大小 8 訓練了 2^19 步（在 3060 顯卡上約 160 小時），很可能訓練不足。

📄 許可證

當前文檔未提及許可證相關信息，若有需要，請關注項目後續更新。