Anime Whisper

🚀 Anime Whisper 🤗🎤📝

Anime Whisper 是一款專門針對日語動漫風格演技臺詞領域的日語語音識別模型。該模型以 kotoba-whisper-v2.0 為基礎模型，並使用約 5300 小時、373 萬個文件的動漫風格語音及劇本數據集 Galgame_Speech_ASR_16kHz 進行了微調。它不僅在動漫演技語音領域表現出色，在其他語音識別任務中也具備獨特的特徵和較高的性能。

你可以在這裡輕鬆體驗該模型的演示：https://huggingface.co/spaces/litagin/anime-whisper-demo

🚀 快速開始

Anime Whisper 是一款專注於日語動漫語音識別的模型，它基於特定的基礎模型並經過大量動漫語音數據的微調。以下是使用該模型的基本步驟和示例代碼。

基礎用法

import torch
from transformers import pipeline

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 0,
    "repetition_penalty": 1.0,
}
pipe = pipeline(
    "automatic-speech-recognition",
    model="litagin/anime-whisper",
    device="cuda",
    torch_dtype=torch.float16,
    chunk_length_s=30.0,
    batch_size=64,
)

audio_path = "test.wav"
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

高級用法

• 若要對多個文件進行一次性推理，只需將文件路徑列表傳遞給 pipe 即可。
• 若重複幻覺現象較為明顯，可以將上述的 no_repeat_ngram_size: int 設置為 5 - 10 左右，或者將 repetition_penalty 設置為大於 1 的值，以抑制該現象。

# 多個文件推理示例
audio_paths = ["test1.wav", "test2.wav", "test3.wav"]
results = pipe(audio_paths, generate_kwargs=generate_kwargs)
for result in results:
    print(result["text"])

# 抑制重複幻覺示例
generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 5,
    "repetition_penalty": 1.2,
}
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

✨ 主要特性

• 低幻覺率：相比其他模型，Anime Whisper 在語音識別過程中產生的幻覺較少，輸出結果更加準確可靠。
• 忠實記錄非語言表達：能夠忠實地轉錄其他模型容易跳過的語氣詞、笑聲、叫聲和呼吸聲等非語言表達，使轉錄結果更加完整。
• 標點使用恰當：能夠根據語音的節奏和情感，恰當地添加「。、!?…」等標點符號，輸出自然流暢、符合語境的臺詞文本。
• 動漫風格語音識別精度高：尤其擅長處理動漫風格的演技臺詞，在該領域具有較高的識別精度。
• 輕量級與高效性：基於 kotoba-whisper（whisper-large-v3 的蒸餾模型）構建，模型輕量且運行速度快。
• NSFW 語音識別能力：能夠以規範的文體轉錄其他模型幾乎無法處理的 NSFW 語音。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import pipeline

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 0,
    "repetition_penalty": 1.0,
}
pipe = pipeline(
    "automatic-speech-recognition",
    model="litagin/anime-whisper",
    device="cuda",
    torch_dtype=torch.float16,
    chunk_length_s=30.0,
    batch_size=64,
)

audio_path = "test.wav"
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

高級用法

• 多個文件推理：

audio_paths = ["audio1.wav", "audio2.wav", "audio3.wav"]
results = pipe(audio_paths, generate_kwargs=generate_kwargs)
for res in results:
    print(res["text"])

• 抑制重複幻覺：

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 7,
    "repetition_penalty": 1.3
}
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

📚 詳細文檔

評估 📊

詳細的評估與觀察報告以及評估代碼將在GitHub 倉庫公開。

CER (Character Error Rate, 字符錯誤率)

• 評估數據：使用「與訓練數據屬於相同動漫風格臺詞領域，但未包含在訓練數據中的個人擁有的 5 部文字冒險遊戲（總計約 75k 個文件）」進行評估。
• 生成參數：為抑制 OpenAI 的 Whisper 系列模型的重複幻覺，使用 no_repeat_ngram_size=5 參數進行生成。
• CER 計算：CER 是對經過適當歸一化處理後的結果進行計算得出的。

偏差等 🚨

• 專有名詞轉錄：當人名等專有名詞存在於訓練數據的視覺小說中時，通常會以該遊戲內的漢字形式進行轉錄。
• 特定單詞轉錄：數據集中的部分特定單詞可能會出現與常規不同的轉錄形式（例如：からだ → 身體 等，以及其他專有名詞）。
• 輸出規範：由於數據集的歸一化處理，以下情況在輸出結果中幾乎不會出現：
  • 元音或長音符的連續：ああああーーーー
  • 相同感嘆號的連續：こらーっ!!!! なにそれ!?!?!?!?
  • 省略號的連續：…… （日語書寫中使用 2 個 …… 是正確的，但輸出結果幾乎總是隻使用 1 個 …）
• 字符格式：數字、字母和感嘆號將以半角形式進行轉錄。
• 句末標點：句末的「。」幾乎總是會被省略。
• 低俗用語處理：部分低俗用語的轉錄可能會包含伏字「○」。

示例 👀

以下是與上述評估相同的、未包含在訓練數據中的文字冒險遊戲臺詞的轉錄對比（同樣使用 no_repeat_ngram_size=5 進行生成）。

結果顯示，Anime Whisper 大致能達到與 whisper-large-v3 相當的良好性能。以下僅摘錄了一些與其他模型差異顯著的示例（特別是非語言表達或情感豐富的語音）。

NSFW 示例 🫣

由於包含成人內容，請謹慎瀏覽。

學習步驟 📚

詳細的學習步驟、超參數和學習代碼將在GitHub上公開。

• 數據劃分：將全部數據中的最後一個 tar 文件留作測試數據，使用其餘 3,735,363 個文件進行訓練。
• 模型訓練：
  1. 首先，從基礎模型開始，凍結編碼器（Encoder），僅對解碼器（Decoder）進行幾個 epoch 的訓練。
  2. 然後，解除編碼器的凍結，對整個模型進行幾個 epoch 的訓練。
• 模型優化：訓練停止後，嘗試通過「取某個時間點到另一個時間點之間的模型平均值（合併）」的操作來提高性能。使用 Optuna 對基準數據的 CER 進行優化，並將優化結果作為最終模型。

環境 🖥

• 硬件資源：自掏腰包在 vast.ai 上租用了 H100 NVL（VRAM 96GB），經過近 3 周的反覆試驗進行訓練（最初使用 whisper-large-v3-turbo 作為基礎模型，因此訓練時間包含了這部分嘗試）。
• 實際訓練時間：該模型實際使用的訓練時間約為 H100 NVL * 11.2 天（不過，後半段訓練可能由於過擬合導致在測試數據上的性能不佳，因此最終合併時未使用這部分模型）。

🔧 技術細節

文檔未提及技術實現細節，故跳過此章節。

📄 許可證

本項目採用 MIT 許可證。