Anime Whisper

🚀 Anime Whisper 🤗🎤📝

Anime Whisper 是一款专门针对日语动漫风格演技台词领域的日语语音识别模型。该模型以 kotoba-whisper-v2.0 为基础模型，并使用约 5300 小时、373 万个文件的动漫风格语音及剧本数据集 Galgame_Speech_ASR_16kHz 进行了微调。它不仅在动漫演技语音领域表现出色，在其他语音识别任务中也具备独特的特征和较高的性能。

你可以在这里轻松体验该模型的演示：https://huggingface.co/spaces/litagin/anime-whisper-demo

🚀 快速开始

Anime Whisper 是一款专注于日语动漫语音识别的模型，它基于特定的基础模型并经过大量动漫语音数据的微调。以下是使用该模型的基本步骤和示例代码。

基础用法

import torch
from transformers import pipeline

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 0,
    "repetition_penalty": 1.0,
}
pipe = pipeline(
    "automatic-speech-recognition",
    model="litagin/anime-whisper",
    device="cuda",
    torch_dtype=torch.float16,
    chunk_length_s=30.0,
    batch_size=64,
)

audio_path = "test.wav"
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

高级用法

• 若要对多个文件进行一次性推理，只需将文件路径列表传递给 pipe 即可。
• 若重复幻觉现象较为明显，可以将上述的 no_repeat_ngram_size: int 设置为 5 - 10 左右，或者将 repetition_penalty 设置为大于 1 的值，以抑制该现象。

# 多个文件推理示例
audio_paths = ["test1.wav", "test2.wav", "test3.wav"]
results = pipe(audio_paths, generate_kwargs=generate_kwargs)
for result in results:
    print(result["text"])

# 抑制重复幻觉示例
generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 5,
    "repetition_penalty": 1.2,
}
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

✨ 主要特性

• 低幻觉率：相比其他模型，Anime Whisper 在语音识别过程中产生的幻觉较少，输出结果更加准确可靠。
• 忠实记录非语言表达：能够忠实地转录其他模型容易跳过的语气词、笑声、叫声和呼吸声等非语言表达，使转录结果更加完整。
• 标点使用恰当：能够根据语音的节奏和情感，恰当地添加「。、!?…」等标点符号，输出自然流畅、符合语境的台词文本。
• 动漫风格语音识别精度高：尤其擅长处理动漫风格的演技台词，在该领域具有较高的识别精度。
• 轻量级与高效性：基于 kotoba-whisper（whisper-large-v3 的蒸馏模型）构建，模型轻量且运行速度快。
• NSFW 语音识别能力：能够以规范的文体转录其他模型几乎无法处理的 NSFW 语音。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from transformers import pipeline

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 0,
    "repetition_penalty": 1.0,
}
pipe = pipeline(
    "automatic-speech-recognition",
    model="litagin/anime-whisper",
    device="cuda",
    torch_dtype=torch.float16,
    chunk_length_s=30.0,
    batch_size=64,
)

audio_path = "test.wav"
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

高级用法

• 多个文件推理：

audio_paths = ["audio1.wav", "audio2.wav", "audio3.wav"]
results = pipe(audio_paths, generate_kwargs=generate_kwargs)
for res in results:
    print(res["text"])

• 抑制重复幻觉：

generate_kwargs = {
    "language": "Japanese",
    "no_repeat_ngram_size": 7,
    "repetition_penalty": 1.3
}
result = pipe(audio_path, generate_kwargs=generate_kwargs)
print(result["text"])

📚 详细文档

评估 📊

详细的评估与观察报告以及评估代码将在GitHub 仓库公开。

CER (Character Error Rate, 字符错误率)

• 评估数据：使用「与训练数据属于相同动漫风格台词领域，但未包含在训练数据中的个人拥有的 5 部文字冒险游戏（总计约 75k 个文件）」进行评估。
• 生成参数：为抑制 OpenAI 的 Whisper 系列模型的重复幻觉，使用 no_repeat_ngram_size=5 参数进行生成。
• CER 计算：CER 是对经过适当归一化处理后的结果进行计算得出的。

偏差等 🚨

• 专有名词转录：当人名等专有名词存在于训练数据的视觉小说中时，通常会以该游戏内的汉字形式进行转录。
• 特定单词转录：数据集中的部分特定单词可能会出现与常规不同的转录形式（例如：からだ → 身体 等，以及其他专有名词）。
• 输出规范：由于数据集的归一化处理，以下情况在输出结果中几乎不会出现：
  • 元音或长音符的连续：ああああーーーー
  • 相同感叹号的连续：こらーっ!!!! なにそれ!?!?!?!?
  • 省略号的连续：…… （日语书写中使用 2 个 …… 是正确的，但输出结果几乎总是只使用 1 个 …）
• 字符格式：数字、字母和感叹号将以半角形式进行转录。
• 句末标点：句末的「。」几乎总是会被省略。
• 低俗用语处理：部分低俗用语的转录可能会包含伏字「○」。

示例 👀

以下是与上述评估相同的、未包含在训练数据中的文字冒险游戏台词的转录对比（同样使用 no_repeat_ngram_size=5 进行生成）。

结果显示，Anime Whisper 大致能达到与 whisper-large-v3 相当的良好性能。以下仅摘录了一些与其他模型差异显著的示例（特别是非语言表达或情感丰富的语音）。

NSFW 示例 🫣

由于包含成人内容，请谨慎浏览。

学习步骤 📚

详细的学习步骤、超参数和学习代码将在GitHub上公开。

• 数据划分：将全部数据中的最后一个 tar 文件留作测试数据，使用其余 3,735,363 个文件进行训练。
• 模型训练：
  1. 首先，从基础模型开始，冻结编码器（Encoder），仅对解码器（Decoder）进行几个 epoch 的训练。
  2. 然后，解除编码器的冻结，对整个模型进行几个 epoch 的训练。
• 模型优化：训练停止后，尝试通过「取某个时间点到另一个时间点之间的模型平均值（合并）」的操作来提高性能。使用 Optuna 对基准数据的 CER 进行优化，并将优化结果作为最终模型。

环境 🖥

• 硬件资源：自掏腰包在 vast.ai 上租用了 H100 NVL（VRAM 96GB），经过近 3 周的反复试验进行训练（最初使用 whisper-large-v3-turbo 作为基础模型，因此训练时间包含了这部分尝试）。
• 实际训练时间：该模型实际使用的训练时间约为 H100 NVL * 11.2 天（不过，后半段训练可能由于过拟合导致在测试数据上的性能不佳，因此最终合并时未使用这部分模型）。

🔧 技术细节

文档未提及技术实现细节，故跳过此章节。

📄 许可证

本项目采用 MIT 许可证。