Whisper Ja Anime V0.1

🚀 日语自动语音识别模型

本项目专注于日语自动语音识别，目标是实现准确的日语转录，尤其聚焦于动漫相关领域，避免生成无中生有的内容，并可作为现有模型的直接替代品。

🚀 快速开始

当前文档未提供快速开始的具体内容，若有相关需求，可根据项目后续更新获取。

✨ 主要特性

• 日语转录：旨在实现准确的日语语音转录。
• 聚焦动漫领域：重点关注动漫相关的语音数据。
• 避免幻觉：防止生成无中生有的转录内容。
• 可直接替代：经过训练，可作为现有模型的直接替代品。

📚 详细文档

目标

• 实现日语转录。
• 聚焦于动漫相关领域。
• 避免生成无中生有的内容。
• 可作为现有模型的直接替代品（训练时 50% 使用提示，25% 不使用时间戳）。

致谢

• 训练集：OOPPEENN、Reazon、Common Voice 19、小虫哥_、deepghs
• 验证集：simon3000、grider-withourai、kotoba-tech
• 测试集：KitsuneX07、TEDxJP

测试集结果

参数说明：

• b1：beam_size = 1
• b5：beam_size = 5
• n5：no_repeat_ngram_size = 5
• nt：<|notimestamps|>

结果分析：

• 与 anime - whisper 相比，动漫相关数据集的表现稍差，但优于 turbo（域外数据）。
• 使用 faster - whisper 对来自 TEDxJP - 10K 的 273 个带有 YouTube 字幕的视频进行长文本测试，性能略逊于 turbo。Kotoba/anime - whisper 未针对长文本进行训练。

验证集结果

验证集仅用于超参数优化。

数据集说明：

• bluearchive.wiki：beam 5 由于额外使用假名，性能更差。是否从米哈游游戏中学习到了相关特征？
• genshin5.1：在 5.0 版本上训练，使用 5.1 版本的新音频，可能存在少量重叠。
• nekopara：用于幻觉测试，如果不是幻觉增加，动漫相关模型的表现会更好。OpenAI 模型在此数据集上无法使用。
• genshin/starrail：大部分数据在训练集中。
• reazon：转录背景/次要音频时，字符错误率（CER）显著升高。
• jsut：表现出人意料地好？
• cv8：cv19 训练集包含部分 cv8 测试集数据。
• cv19：无数据污染，但在处理口音时存在困难。
• jsl：动漫数据集。
• loopers：动漫数据集，包含易产生幻觉的音频。
• tedxjp：10 个视频的子集。详见测试集的相关注释。b1 = 批量处理，b5 = 顺序处理，beam_size = 1，temperature = 0，condition_on_previous_text = False

🔧 技术细节

模型采用 WIP turbo encoder 冻结 + 2 层解码器架构，以批量大小 8 训练了 2^19 步（在 3060 显卡上约 160 小时），很可能训练不足。

📄 许可证

当前文档未提及许可证相关信息，若有需要，请关注项目后续更新。